Базы данных | Access, SQL, Big Data – Telegram
Базы данных | Access, SQL, Big Data
30.7K subscribers
253 photos
99 videos
398 links
Всё о базах данных простым языком.

Сотрудничество: @max_excel

РКН: vk.cc/cHhG5h
Download Telegram
SQL HowTo: TOP-N на субинтервалах

Автор периодически сталкивался с однотипными задачами вида "показать TOP-N позиций на каждом из вложенных интервалов некоторого периода", поэтому в этой статье он решил описать создание эффективного, но компактного запроса для PostgreSQL, который решает такую задачу.

Базы данных
This media is not supported in your browser
VIEW IN TELEGRAM
Работа с множествами в SQL

В этом видеоуроке автор подробно разбирает процесс работы с операторами множеств в SQL (UNION, MINUS, INTERSECT).

00:00 Вступление
00:29 Объединение множеств строк (UNION ALL и UNION)
01:46 Вычитание множеств строк (MINUS)
02:06 Пересечение множеств строк (INTERSECT)

Смотреть это видео на youtube: youtu.be/1n9oQE9i85c
Как мы перенесли архив данных из Teradata в GreenPlum с помощью Hadoop и PXF

В этой статье автор расскажет о полученном опыте и результатах переноса архива данных объёмом более 400 Тб из Teradata в GreenPlum, а также о трудностях и решениях, связанных с этим процессом.

Базы данных
👨‍💻Гринатом — ИТ-интегратор Росатома — открывает вакансию системного аналитика!

Ждём кандидатов с опытом работы системным аналитиком в ИТ от 5 лет, навыками проектирования, документирования и интеграций, умением декомпозировать крупные задачи, пониманием принципов построения микросервисной архитектуры ПО и разработки Web-приложений, знанием agile/scrum методологии, BPMN, UML, SQL, OpenProject и Postman. Опыт реализации и внедрения систем ECM, ERP, MES, CRM, HRM будет преимуществом.

🤝С нами вы сможете работать с полным соблюдением ТК РФ в удалённом формате из любого региона с сокращённым днём в пятницу, получать «белую» зарплату 2 раза в месяц, учиться за счёт компании и заботиться о своём здоровье с пакетом ДМС, включающим стоматологию.
Инфраструктура для data engineer Kafka

В этом материале автор покажет, как можно использовать Kafka в дата-инженерии и как её "пощупать".

Базы данных
Media is too big
VIEW IN TELEGRAM
Основы SQL

В этом ролике автор рассматривает на практике работу с основными командами языка запросов SQL.

00:00 Подготовка базы данных
04:36 Выбор данных (SELECT)
08:30 Указание текущей базы данных
09:58 Чувствительность к регистру
12:14 Выбор определенных колонок
15:28 Фильтрация с помощью WHERE
20:59 Фильтрация с И и ИЛИ
26:38 Поиск строки по шаблону
29:18 Свой среди чужих
31:26 NULL когда данные отсутствуют
34:27 Сортировка данных
38:37 Добавление записей
45:36 Обновление данных
52:32 Удаление данных

Смотреть это видео на youtube: youtu.be/WhzZZqoM-AY
Как правильно использовать большие данные: строим хранилища на MPP-СУБД

В этой статье автор поделится опытом, как снизить капиталовложения в оборудование с большим объемом памяти, добиться производительности и высокой отказоустойчивости при создании DataLake и корпоративного хранилища данных.

Базы данных
Оптимизация запроса и запрос оптимизации

В этой статье: как не грабить память, не пытать диск, не мучать кластер. Или делать все это всего одним запросом на Impala к Hadoop.

Базы данных
На грани ИИ: пример поиска и обработки векторов в PostgreSQL + pgvector

В этой статье автор на практическом примере покажет как хранить и кластеризовать векторы алгоритмом DBSCAN и искать по ним в базе данных. В примере задача с векторами на грани типичного хранения и обработки результатов работы нейросетевых моделей в базе данных.

Базы данных
Рекомендации по ведению SQL-кода

В этом материале автор разберет общие рекомендации по ведению SQL-кода на примере СУБД MS SQL (T-SQL). Однако, многие пункты можно также применить и к другим СУБД.

Базы данных
Как распараллелить тесты с базой данных

Представьте проект, в котором уже написано несколько сотен тестов. Каждый тест настраивает базу под себя: добавляет данные, вызывает truncate по окончанию. Хочется запускать тесты параллельно, чтобы ускориться, но если два теста запустить одновременно, они почти наверняка друг другу помешают. В этой статье автор поделится подходом, который позволил решить проблему без рефакторинга.

Базы данных
Практика по JOIN в SQL: упрощаем ежедневные задачи и решаем тестовое

Один из самых распространённых операторов в SQL — это JOIN. В статье автор расскажет об особенностях этого оператора: как использовать другие операторы в JOIN после ON, кроме «равно», и зачем это может быть нужно.

Базы данных
Кейс миграции MS SQL Server из Azure в VK Cloud

В этом материале автор разберет опыт миграции PaaS MS SQL Server с гигабайтами данных из Azure в VK Cloud и расскажет, как выстроить процесс, какие подводные камни встретились и что получилось в итоге.

Базы данных
«PostgreSQL для начинающих»: #1 — Основы SQL

В статье: рассказ об основах SQL, возможностях простых и сложных SELECT, анализ производительности запросов, разбор [не]эффективного применения индексов и особенностей работы транзакций и блокировок в этой СУБД.

Базы данных
Media is too big
VIEW IN TELEGRAM
Анализ данных на языке SQL: Хранилища и витрины данных

В этом видеоуроке автор подробно и наглядно разбирает процесс работы с хранилищами и витринами данных в SQL.

00:00 Вступление
13:48 OLTP
19:15 DWH

Смотреть это видео на youtube: youtu.be/wtm82_IY1sY
Наводим порядок с базами данных. Переносим файлы в S3, мигрируем в единый кластер

В этой статье автор расскажет историю миграции баз данных в кластер и переноса тяжелых файлов в S3; в том числе о том, что пошло не по плану и об обратной стороне размещения баз в едином кластере.

Базы данных
Как создавать высокопроизводительные очереди сообщений с различной архитектурой

В этом материале автор рассказывает об основных сложностях развития высоконагруженных ИТ-систем и о способах их преодоления с помощью очередей сообщений на примере Tarantool Queue Enterprise.

Базы данных
Media is too big
VIEW IN TELEGRAM
Представления в SQL

В этом видеоуроке автор подробно разбирает процесс работы с представлениями (оператор VIEW) в SQL.

00:00 Представления в SQL
01:20 Работа представлений
02:21 VIEW из нескольких таблиц
03:32 Зачем использовать VIEW?
05:05 Материализованные представления
06:35 Удаление представлений
06:48 Итоги

Смотреть это видео на youtube: youtu.be/B3RRgBx_foc
Статистический анализ результатов нагрузочного тестирования СУБД в условиях облачной инфраструктуры

Проведение нагрузочного тестирования и получение достоверных оценочных результатов производительности СУБД в условиях нестабильной инфраструктуры - возможно. Хотя и требует большего времени и затрат на сбор и анализ экспериментальных данных.

Базы данных
Сравнительный анализ методов аппроксимации на основе SQL-запросов

В этой статье автор показывает, что для решения задач аппроксимации совсем не обязательно использовать сторонние инструменты. Если ваши экспериментальные данные хранятся в базе, и есть возможность выполнять к данным SQL запросы, значит у вас есть все необходимое, чтобы решить задачу аппроксимации.

Базы данных
Media is too big
VIEW IN TELEGRAM
Основы SQL для аналитики данных

В этом ролике автор собрал все SQL-команды, которые должен знать и уметь использовать в своей работе аналитик данных или продуктовый аналитик.

00:22 SELECT
01:01 WHERE (IN)
02:46 WHERE LIKE
03:57 Как исключить NULL значения?
06:33 Агрегирующие функции
06:53 GROUP BY
08:57 HAVING
10:06 SQL JOIN
12:48 ORDER BY
13:41 Оконные функции
16:49 Вложенные запросы

Смотреть это видео на youtube: youtu.be/Zf8M3xJaMEc