Игры, которые помогают изучать и практиковать SQL | Аналитика данных

Ссылки для доступа к играм:
1. SQL Island: https://sql-island.informatik.uni-kl.de/
2. SQL Murder Mystery: https://mystery.knightlab.com/
3. Полицейский департамент SQL: https://sqlpd.com/
4. The Schemaverse: https://schemaverse.com/

📹 Cмотреть источник: тык

👉 @SQLPortal | #курсы

Это схема SQL, показывающая основные команды и их категории:

DQL: Извлечение данных (SELECT, WHERE, GROUP BY, ORDER BY).
DML: Работа с данными (INSERT, UPDATE, DELETE).
DDL: Управление структурами базы данных (CREATE, ALTER, DROP).
Управление доступом: GRANT, REVOKE.
Функции: Агрегатные (SUM(), AVG()) и оконные (ROW_NUMBER(), RANK()).

👉 @SQLPortal | #ресурсы | дать буст

Использование функций преобразования типов TO_* (например, TO_DATE, TO_NUMBER и т. д.) на недопустимых значениях в Oracle Database приведет к исключению 🤨

Но начиная с Oracle Database 12.2 или выше, можно вернуть NULL или значение по умолчанию вместо этого, используя:

TO_* (<val> DEFAULT ... ON CONVERSION ERROR, <format>)

Этот синтаксис помогает предотвратить исключения, возвращая вместо них NULL или заданное значение по умолчанию при ошибке преобразования

👉 @SQLPortal | #ресурсы | дать буст

Вот несколько важных советов по SQL для начинающих

1. Первичный ключ (Primary Key) = Уникальный ключ (Unique Key) + Ограничение Not Null.
2. Для нечувствительного к регистру поиска используйте функцию UPPER(), например: UPPER(customer_name) LIKE 'A%A'.
3. Оператор LIKE используется для строкового типа данных.
4. COUNT(*), COUNT(1), COUNT(0) работают одинаково.
5. Все агрегатные функции игнорируют значения NULL.
6. Агрегатные функции MIN, MAX, SUM, AVG, COUNT предназначены для числовых данных, а STRING_AGG — для строковых данных.
7. Для фильтрации на уровне строк используйте WHERE, а для фильтрации на уровне агрегатов — HAVING.
8. UNION ALL включает дубликаты, тогда как UNION исключает дубликаты.
9. Если в результатах не будет дубликатов, используйте UNION ALL вместо UNION.
10. Подзапрос нужно алиасировать, если в внешнем запросе используются его столбцы.
11. Подзапросы могут использоваться с условием NOT IN.
12. CTE (объявленные временные таблицы) выглядят лучше, чем подзапросы. По производительности они одинаковы.
13. При объединении двух таблиц, если одна таблица содержит только одно значение, можно использовать условие 1=1 для объединения. Это считается CROSS JOIN.
14. Оконные функции работают на уровне строк.
15. Разница между RANK() и DENSE_RANK() заключается в том, что RANK() пропускает ранги, если значения одинаковы.
16. EXISTS работает с условиями истинности (true/false). Если запрос возвращает хотя бы одно значение, условие TRUE. Все записи, соответствующие условию, возвращаются.


👉 @SQLPortal | #ресурсы | дать буст

SQL-проекты для начинающих, чтобы улучшить свое резюме! 😏

1. Система управления заработной платой сотрудников
https://github.com/ojasphansekar/Employee-Payroll-Management-System

2. Система управления библиотекой
https://github.com/AlexanderWong/Library-Management-System

3. Управление базой данных студентов
https://github.com/shardul08/Student-DataBase-Management-System

4. SQL для анализа данных Полный портфельный проект
https://youtube.com/watch?v=zZpMvAedh_E&ab_channel=WsCubeTech

5. База данных железнодорожной системы
https://vikingpathak.github.io/kh-sql-projects/markdown_files/railway_system.html

6. Управление складскими запасами
https://vikingpathak.github.io/kh-sql-projects/markdown_files/inventory_control_management.html

7. База данных приложений для интернет-магазинов
https://vikingpathak.github.io/kh-sql-projects/markdown_files/online_retail_app.html

👉 @SQLPortal | #ресурсы | дать буст

Вы можете создавать автоматически увеличивающиеся столбцы в Oracle Database с помощью следующих способов:

<col> GENERATED ... AS IDENTITY
<col> DEFAULT ... <sequence>.NEXTVAL

Используя клаузу DEFAULT ON NULL для этих столбцов, база данных будет автоматически заполнять их, если вы вставляете: 👇

- Значение DEFAULT
- Значение NULL
- Или просто опускаете указание столбца в запросе.

👉 @SQLPortal | #ресурсы | дать буст

Освойте SQL с помощью этого 30-дневного челленджа и оставайтесь на правильном пути в вашем путешествии по аналитике данных как новичок

👉 @SQLPortal | #ресурсы | дать буст

Порядок выполнения запросов SQL ↓

1 → FROM (Выбор таблиц).
2 → WHERE (Применение фильтров).
3 → GROUP BY (Группировка строк).
4 → HAVING (Фильтрация сгруппированных данных).
5 → SELECT (Выбор столбцов).
6 → ORDER BY (Сортировка данных).
7 → LIMIT (Ограничение количества строк).

Популярные запросы для практики ↓

↬ Найти вторую по величине зарплату:

SELECT MAX(Salary) 
FROM Employees 
WHERE Salary < (SELECT MAX(Salary) FROM Employees); 

↬ Найти дублирующиеся записи:

SELECT Name, COUNT(*)  
FROM Emp  
GROUP BY Name  
HAVING COUNT(*) > 1; 

👉 @SQLPortal | #ресурсы | дать буст

Дорожная карта Excel для аналитики данных

🟡Базовые навыки: Интерфейс, простые формулы, форматирование.
🟡Средний уровень: Очистка данных, сложные формулы, графики.
🟡Продвинутый анализ: Сводные таблицы, статистика, Power Query.
🟡Практика: Реальные проекты, дашборды, интеграция с другими инструментами.

Идеально подходит для освоения Excel от основ до профессионального уровня.

👉 @SQLPortal | #ресурсы | дать буст

Реальный порядок выполнения SQL-запросов в базах данных! 👆

👉 @SQLPortal | #ресурсы | дать буст

Advanced SQL Project | Netflix Data Analysis Using SQL (Guided)

В нем рассматриваются различные SQL-запросы для обработки и анализа данных, связанных с пользователями и контентом на платформе. Задачи охватывают выборки данных, фильтрацию, агрегацию и объединение таблиц для получения полезной информации, а также используют реальный набор данных, чтобы помочь понять, как применить SQL для решения практических проблем в анализе данных.

📹 Cмотреть курс: тык

👉 @SQLPortal | #курсы

Строковые функции в SQL

Если вы работаете с базами данных, умение манипулировать строками — это обязательно! Вот краткий обзор популярных строковых функций в SQL 👇

1. CONCAT()
Описание: Объединяет две или более строки.
Синтаксис: SELECT CONCAT(строка1, строка2, ...) AS объединенная_строка;
Пример: SELECT CONCAT(first_name, ' ', last_name) AS full_name;

2. SUBSTRING()/SUBSTR()
Описание: Извлекает подстроку из строки.
Синтаксис: SELECT SUBSTRING(строка FROM начальная_позиция FOR длина) AS подстрока;
Пример: SELECT SUBSTRING(product_name FROM 1 FOR 5) AS short_name;

3. CHAR_LENGTH()/LENGTH()
Описание: Возвращает длину строки.
Синтаксис: SELECT CHAR_LENGTH(строка) AS длина;
Пример: SELECT CHAR_LENGTH(product_name) AS product_name_length;

4. UPPER()
Описание: Преобразует все символы строки в верхний регистр.
Синтаксис: SELECT UPPER(строка) AS строка_в_верхнем_регистре;
Пример: SELECT UPPER(first_name) AS upper_name;

5. LOWER()
Описание: Преобразует все символы строки в нижний регистр.
Синтаксис: SELECT LOWER(строка) AS строка_в_нижнем_регистре;
Пример: SELECT LOWER(last_name) AS lower_name;

6. TRIM()
Описание: Удаляет указанные префиксы, суффиксы или пробелы из строки.
Синтаксис: SELECT TRIM([LEADING | TRAILING | BOTH] символы FROM строка) AS обрезанная_строка;
Пример: SELECT TRIM(TRAILING ' ' FROM full_name) AS trimmed_name;

7. LEFT()
Описание: Возвращает указанное количество символов с левой стороны строки.
Синтаксис: SELECT LEFT(строка, количество_символов) AS левая_строка;
Пример: SELECT LEFT(product_name, 5) AS left_product_name;

8. RIGHT()
Описание: Возвращает указанное количество символов с правой стороны строки.
Синтаксис:SELECT RIGHT(строка, количество_символов) AS правая_строка;
Пример: SELECT RIGHT(order_number, 4) AS right_order_number;

9. REPLACE()
Описание: Заменяет вхождения подстроки в строке на другую подстроку.
Синтаксис: SELECT REPLACE(строка, старая_подстрока, новая_подстрока) AS замененная_строка;
Пример: SELECT REPLACE(denoscription, 'старое', 'новое') AS updated_denoscription;

👉 @SQLPortal | #ресурсы | дать буст

Секрет оптимизации SQL-запросов - поймите порядок выполнения SQL 👆

🟡Используй индексы в SELECT, WHERE и JOIN для ускорения поиска.
🟡Полные сравнения столбцов лучше, чем частичные или вычисленные (например, избегай использования startsWith).
🟡Не используй ORDER BY для больших объемов данных, чтобы не снижать производительность.
🟡Используй пагинацию с маленькими лимитами для больших выборок данных, чтобы избежать перегрузки системы.

📹 Cмотреть курс: тык

👉 @SQLPortal | #курсы

Если вы работаете с базами данных, важно знать об ACID:

🍩Атомарность (A): все операции транзакции либо выполняются полностью, либо не выполняются вообще. Промежуточные состояния недопустимы.

🍩Согласованность (C): состояние базы данных должно оставаться корректным до и после транзакции. Это зависит от логики приложения.

🍩 Изоляция (I): одновременные транзакции не должны влиять друг на друга. Уровни изоляции варьируются: Read Uncommitted, Read Committed, Repeatable Read, Serializable.

🍩 Долговечность (D): данные сохраняются даже при сбоях системы (аппаратные ошибки, краш базы). Это достигается с помощью журналов или репликации.

ACID гарантирует надежность и согласованность работы с базой данных

👉 @SQLPortal | #ресурсы | дать буст

Легкие заметки по SQL для интервью

👉 @SQLPortal | #ресурсы | дать буст

Список с задачами для подготовки к SQL-интервью с различными базами данных:

1. [Database Basics](https://bit.ly/3zGK6S7)
2. [SQL Queries](https://bit.ly/3bGzN8r)
3. [MSSQL](https://bit.ly/3A5qIj0)
4. [MySQL](https://bit.ly/3bFkhtE)
5. [Postgres](https://bit.ly/3BOLLHP)
6. [Oracle](https://bit.ly/3zF2WsH)

👉 @SQLPortal | #ресурсы | дать буст

8 ключевых структур данных, которые обеспечивают работу современных баз данных:

В их числе Skip List, Hash Index, SSTable, LSM Tree, B-деревья, Инвертированные индексы, Суффиксные деревья и R-деревья.

Эти структуры помогают эффективно управлять хранением данных, их извлечением и выполнением сложных запросов в таких системах, как Redis, MySQL, Cassandra и других.

📹 Cмотреть: тык

👉 @SQLPortal | #курсы

12 техник очистки данных, которые вы должны знать:

🟡Фильтрация данных – удаление нерелевантных или ненужных данных, чтобы уменьшить шум и сосредоточиться на важной информации.
🟡Удаление дубликатов – устранение повторяющихся записей для обеспечения уникальности каждого элемента данных.
🟡Импутация данных – замена пропущенных или пустых значений на предполагаемые, чтобы сохранить целостность данных.
🟡Стандартизация данных – приведение данных к общему формату для упрощения сравнения и анализа.
🟡Преобразование данных – изменение существующих данных для их адаптации к анализу или моделированию.
🟡Обнаружение выбросов – выявление и обработка значений, которые сильно отклоняются от основной массы данных.
🟡Проверка данных – проверка соответствия данных установленным правилам и исправление несоответствий.
🟡Кодирование данных – преобразование категориальных данных в числовой формат для совместимости с алгоритмами машинного обучения.
🟡Агрегация данных – группировка данных по категориям, времени или другим критериям для получения обобщённой статистики.
🟡Сэмплирование данных – выборка репрезентативного подмножества данных для анализа, сохраняя целостность выборки.
🟡Очистка данных – применение различных техник для обеспечения точности, полноты и соответствия стандартам.
🟡Профилирование данных – глубокий анализ данных для изучения их структуры, характеристик и качества.

👉 @SQLPortal | #ресурсы | дать буст

Пошаговое руководство Power BI за 15 дней

👉 @SQLPortal | #ресурсы | дать буст

Обработка дубликатов в SQL

Ребята, давайте разберемся, как работать с дубликатами в данных — это важный навык для получения чистых и точных результатов!

Чтобы выявить дубликаты, используйте GROUP BY с HAVING:

SELECT name, COUNT(*) AS count  
FROM Employees  
GROUP BY name  
HAVING COUNT(*) > 1;

Этот запрос показывает все повторяющиеся имена в таблице Employees.

Чтобы удалить дубликаты, используйте DISTINCT:

SELECT DISTINCT name, department  
FROM Employees;

Этот запрос возвращает уникальные комбинации имени и отдела.

👉 @SQLPortal | #ресурсы | дать буст

POSTGRES EXPLAIN

📖 Читать: ссылка

👉 @SQLPortal | #cтатья