Дорожная карта Excel для аналитики данных

🟡Базовые навыки: Интерфейс, простые формулы, форматирование.
🟡Средний уровень: Очистка данных, сложные формулы, графики.
🟡Продвинутый анализ: Сводные таблицы, статистика, Power Query.
🟡Практика: Реальные проекты, дашборды, интеграция с другими инструментами.

Идеально подходит для освоения Excel от основ до профессионального уровня.

👉 @SQLPortal | #ресурсы | дать буст

Реальный порядок выполнения SQL-запросов в базах данных! 👆

👉 @SQLPortal | #ресурсы | дать буст

Advanced SQL Project | Netflix Data Analysis Using SQL (Guided)

В нем рассматриваются различные SQL-запросы для обработки и анализа данных, связанных с пользователями и контентом на платформе. Задачи охватывают выборки данных, фильтрацию, агрегацию и объединение таблиц для получения полезной информации, а также используют реальный набор данных, чтобы помочь понять, как применить SQL для решения практических проблем в анализе данных.

📹 Cмотреть курс: тык

👉 @SQLPortal | #курсы

Строковые функции в SQL

Если вы работаете с базами данных, умение манипулировать строками — это обязательно! Вот краткий обзор популярных строковых функций в SQL 👇

1. CONCAT()
Описание: Объединяет две или более строки.
Синтаксис: SELECT CONCAT(строка1, строка2, ...) AS объединенная_строка;
Пример: SELECT CONCAT(first_name, ' ', last_name) AS full_name;

2. SUBSTRING()/SUBSTR()
Описание: Извлекает подстроку из строки.
Синтаксис: SELECT SUBSTRING(строка FROM начальная_позиция FOR длина) AS подстрока;
Пример: SELECT SUBSTRING(product_name FROM 1 FOR 5) AS short_name;

3. CHAR_LENGTH()/LENGTH()
Описание: Возвращает длину строки.
Синтаксис: SELECT CHAR_LENGTH(строка) AS длина;
Пример: SELECT CHAR_LENGTH(product_name) AS product_name_length;

4. UPPER()
Описание: Преобразует все символы строки в верхний регистр.
Синтаксис: SELECT UPPER(строка) AS строка_в_верхнем_регистре;
Пример: SELECT UPPER(first_name) AS upper_name;

5. LOWER()
Описание: Преобразует все символы строки в нижний регистр.
Синтаксис: SELECT LOWER(строка) AS строка_в_нижнем_регистре;
Пример: SELECT LOWER(last_name) AS lower_name;

6. TRIM()
Описание: Удаляет указанные префиксы, суффиксы или пробелы из строки.
Синтаксис: SELECT TRIM([LEADING | TRAILING | BOTH] символы FROM строка) AS обрезанная_строка;
Пример: SELECT TRIM(TRAILING ' ' FROM full_name) AS trimmed_name;

7. LEFT()
Описание: Возвращает указанное количество символов с левой стороны строки.
Синтаксис: SELECT LEFT(строка, количество_символов) AS левая_строка;
Пример: SELECT LEFT(product_name, 5) AS left_product_name;

8. RIGHT()
Описание: Возвращает указанное количество символов с правой стороны строки.
Синтаксис:SELECT RIGHT(строка, количество_символов) AS правая_строка;
Пример: SELECT RIGHT(order_number, 4) AS right_order_number;

9. REPLACE()
Описание: Заменяет вхождения подстроки в строке на другую подстроку.
Синтаксис: SELECT REPLACE(строка, старая_подстрока, новая_подстрока) AS замененная_строка;
Пример: SELECT REPLACE(denoscription, 'старое', 'новое') AS updated_denoscription;

👉 @SQLPortal | #ресурсы | дать буст

Секрет оптимизации SQL-запросов - поймите порядок выполнения SQL 👆

🟡Используй индексы в SELECT, WHERE и JOIN для ускорения поиска.
🟡Полные сравнения столбцов лучше, чем частичные или вычисленные (например, избегай использования startsWith).
🟡Не используй ORDER BY для больших объемов данных, чтобы не снижать производительность.
🟡Используй пагинацию с маленькими лимитами для больших выборок данных, чтобы избежать перегрузки системы.

📹 Cмотреть курс: тык

👉 @SQLPortal | #курсы

Если вы работаете с базами данных, важно знать об ACID:

🍩Атомарность (A): все операции транзакции либо выполняются полностью, либо не выполняются вообще. Промежуточные состояния недопустимы.

🍩Согласованность (C): состояние базы данных должно оставаться корректным до и после транзакции. Это зависит от логики приложения.

🍩 Изоляция (I): одновременные транзакции не должны влиять друг на друга. Уровни изоляции варьируются: Read Uncommitted, Read Committed, Repeatable Read, Serializable.

🍩 Долговечность (D): данные сохраняются даже при сбоях системы (аппаратные ошибки, краш базы). Это достигается с помощью журналов или репликации.

ACID гарантирует надежность и согласованность работы с базой данных

👉 @SQLPortal | #ресурсы | дать буст

Легкие заметки по SQL для интервью

👉 @SQLPortal | #ресурсы | дать буст

Список с задачами для подготовки к SQL-интервью с различными базами данных:

1. [Database Basics](https://bit.ly/3zGK6S7)
2. [SQL Queries](https://bit.ly/3bGzN8r)
3. [MSSQL](https://bit.ly/3A5qIj0)
4. [MySQL](https://bit.ly/3bFkhtE)
5. [Postgres](https://bit.ly/3BOLLHP)
6. [Oracle](https://bit.ly/3zF2WsH)

👉 @SQLPortal | #ресурсы | дать буст

8 ключевых структур данных, которые обеспечивают работу современных баз данных:

В их числе Skip List, Hash Index, SSTable, LSM Tree, B-деревья, Инвертированные индексы, Суффиксные деревья и R-деревья.

Эти структуры помогают эффективно управлять хранением данных, их извлечением и выполнением сложных запросов в таких системах, как Redis, MySQL, Cassandra и других.

📹 Cмотреть: тык

👉 @SQLPortal | #курсы

12 техник очистки данных, которые вы должны знать:

🟡Фильтрация данных – удаление нерелевантных или ненужных данных, чтобы уменьшить шум и сосредоточиться на важной информации.
🟡Удаление дубликатов – устранение повторяющихся записей для обеспечения уникальности каждого элемента данных.
🟡Импутация данных – замена пропущенных или пустых значений на предполагаемые, чтобы сохранить целостность данных.
🟡Стандартизация данных – приведение данных к общему формату для упрощения сравнения и анализа.
🟡Преобразование данных – изменение существующих данных для их адаптации к анализу или моделированию.
🟡Обнаружение выбросов – выявление и обработка значений, которые сильно отклоняются от основной массы данных.
🟡Проверка данных – проверка соответствия данных установленным правилам и исправление несоответствий.
🟡Кодирование данных – преобразование категориальных данных в числовой формат для совместимости с алгоритмами машинного обучения.
🟡Агрегация данных – группировка данных по категориям, времени или другим критериям для получения обобщённой статистики.
🟡Сэмплирование данных – выборка репрезентативного подмножества данных для анализа, сохраняя целостность выборки.
🟡Очистка данных – применение различных техник для обеспечения точности, полноты и соответствия стандартам.
🟡Профилирование данных – глубокий анализ данных для изучения их структуры, характеристик и качества.

👉 @SQLPortal | #ресурсы | дать буст

Пошаговое руководство Power BI за 15 дней

👉 @SQLPortal | #ресурсы | дать буст

Обработка дубликатов в SQL

Ребята, давайте разберемся, как работать с дубликатами в данных — это важный навык для получения чистых и точных результатов!

Чтобы выявить дубликаты, используйте GROUP BY с HAVING:

SELECT name, COUNT(*) AS count  
FROM Employees  
GROUP BY name  
HAVING COUNT(*) > 1;

Этот запрос показывает все повторяющиеся имена в таблице Employees.

Чтобы удалить дубликаты, используйте DISTINCT:

SELECT DISTINCT name, department  
FROM Employees;

Этот запрос возвращает уникальные комбинации имени и отдела.

👉 @SQLPortal | #ресурсы | дать буст

POSTGRES EXPLAIN

📖 Читать: ссылка

👉 @SQLPortal | #cтатья

SQL Представления (Views)

Давайте упростим работу со сложными запросами, используя представления

Представление — это виртуальная таблица, созданная на основе запроса. Вместо того чтобы каждый раз писать один и тот же запрос, вы можете создать представление и использовать его как таблицу.

Пример:

CREATE VIEW HighEarners AS  
SELECT name, salary  
FROM Employees  
WHERE salary > 50000;  

SELECT * FROM HighEarners;

В данном случае мы создаем представление под названием HighEarners, чтобы отобрать сотрудников с зарплатой выше 50,000.

😢 Задание для вас: Если у вас есть таблица Sales, какое представление вы бы создали, чтобы найти регионы с продажами выше 100,000

👉 @SQLPortal | #ресурсы | дать буст

Кардинальность относится к количеству уникальных значений в столбце по отношению к общему числу строк в таблице 😮

• Высокая кардинальность означает, что столбец имеет много уникальных значений. • Низкая кардинальность означает, что столбец имеет мало уникальных значений.

Когда вы создаёте индекс на столбце с низкой кардинальностью, это часто неэффективно, потому что:

🍩 Низкая кардинальность означает, что каждое проиндексированное значение указывает на много строк, что уменьшает способность индекса сузить область поиска. 🍩 Поддержка индекса требует дополнительное место и время на обновление. Для столбцов с низкой кардинальностью эти затраты могут перевесить выгоду. 🍩 Оптимизаторы запросов баз данных умны; они знают статистику столбцов, включая кардинальность. Когда они обнаруживают индекс с низкой кардинальностью, они часто игнорируют его и выполняют полное сканирование таблицы.

👇 Пример

Предположим таблицу "Employees" с 1 миллионом записей:

Рассмотрим индексацию различных столбцов:

• ID: Высокая кардинальность (1 миллион уникальных значений). Индекс здесь будет очень эффективным.

• Name: Высокая кардинальность (много уникальных имен). Индекс может быть полезен для поиска.

• Department: Средняя кардинальность (10-20 уникальных значений). Индекс иногда может быть полезен, но менее эффективен, чем для EmployeeID или Name.

• Gender: Очень низкая кардинальность (2-3 уникальных значения). Оптимизатор запросов вероятно игнорирует индекс.

Когда стоит рассмотреть индексацию столбца с низкой кардинальностью? 🤔

Есть сценарии, когда индексация столбца с низкой кардинальностью может быть полезной.

Например, комбинирование столбцов с низкой и высокой кардинальностью может быть эффективным.

👉 @SQLPortal | #ресурсы | дать буст

SQL-кальмар: выживут только мастера запросов 😐

Нашёл годноту — SQL Squid Game

Вы — новоиспечённый дата-сайентист в загадочной организации. Ваш босс, Фронтмен, требует от вас решения бизнес-задач с помощью SQL. Не справитесь — ☠️

9 уровней, растущая сложность, а заодно — отличная прокачка навыков. Не уверены в силах? На сайте есть 33 урока, чтобы подтянуть SQL перед стартом

Готовы принять вызов? Тогда вперёд: https://datalemur.com/sql-game

👉 @SQLPortal | #ресурсы | дать буст