Наводим порядок с базами данных. Переносим файлы в S3, мигрируем в единый кластер

В этой статье автор расскажет историю миграции баз данных в кластер и переноса тяжелых файлов в S3; в том числе о том, что пошло не по плану и об обратной стороне размещения баз в едином кластере.

Базы данных

Как создавать высокопроизводительные очереди сообщений с различной архитектурой

В этом материале автор рассказывает об основных сложностях развития высоконагруженных ИТ-систем и о способах их преодоления с помощью очередей сообщений на примере Tarantool Queue Enterprise.

Базы данных

Представления в SQL

В этом видеоуроке автор подробно разбирает процесс работы с представлениями (оператор VIEW) в SQL.

00:00 Представления в SQL
01:20 Работа представлений
02:21 VIEW из нескольких таблиц
03:32 Зачем использовать VIEW?
05:05 Материализованные представления
06:35 Удаление представлений
06:48 Итоги

Смотреть это видео на youtube: youtu.be/B3RRgBx_foc

Статистический анализ результатов нагрузочного тестирования СУБД в условиях облачной инфраструктуры

Проведение нагрузочного тестирования и получение достоверных оценочных результатов производительности СУБД в условиях нестабильной инфраструктуры - возможно. Хотя и требует большего времени и затрат на сбор и анализ экспериментальных данных.

Базы данных

Сравнительный анализ методов аппроксимации на основе SQL-запросов

В этой статье автор показывает, что для решения задач аппроксимации совсем не обязательно использовать сторонние инструменты. Если ваши экспериментальные данные хранятся в базе, и есть возможность выполнять к данным SQL запросы, значит у вас есть все необходимое, чтобы решить задачу аппроксимации.

Базы данных

Основы SQL для аналитики данных

В этом ролике автор собрал все SQL-команды, которые должен знать и уметь использовать в своей работе аналитик данных или продуктовый аналитик.

00:22 SELECT
01:01 WHERE (IN)
02:46 WHERE LIKE
03:57 Как исключить NULL значения?
06:33 Агрегирующие функции
06:53 GROUP BY
08:57 HAVING
10:06 SQL JOIN
12:48 ORDER BY
13:41 Оконные функции
16:49 Вложенные запросы

Смотреть это видео на youtube: youtu.be/Zf8M3xJaMEc

Нагрузочное тестирование СУБД в облачной среде (часть 1)

Исследование гипотезы "СУБД по природе своей является стохастической, а не детерминированной системой". С целью проверки этого утверждения и в связи с началом работ по подготовке методики статистического анализа СУБД в условиях облачной среды, была начата серия экспериментов для определения влияния внешних/случайных факторов инфраструктуры на производительность СУБД.

Базы данных

Нагрузочное тестирование СУБД в облачной среде (часть 2)

Следующая серия экспериментов выполняется с использованием периода сглаживания = 1 час. Для тестирования используется стандартный инструментарий - утилита pgbench.

Базы данных

SQL HowTo: итоги по строкам и столбцам «в одно действие»

В этой статье автор предлагает немного отвлечься от простых SELECT и посмотреть на реальной бизнес-задаче построения различных "тепловых карт" и "шахматок" как знание возможностей SQL может облегчить жизнь и разработчику, и его базе.

Базы данных

Администрирование SQL Server

В этом видео автор подробно разбирает процесс администрирования баз данных для начинающих.

0:00:13 sqlcmd
0:29:31 sys.databases
0:35:24 База master
0:36:15 База msdb
0:37:27 База tempdb
0:42:19 База model
2:07:41 Файловые группы
2:43:14 Резервное копирование
3:08:46 Full backUp
3:16:55 Restore Database
3:18:34 Restore HeaderOnly
3:31:06 Differential backup

Смотреть это видео на youtube: youtu.be/X508KcPidyk

Производственный календарь в PostgreSQL

Заводить руками свежий производственный календарь не хочется. Хочется, чтобы он появился вызовом одной функции. Цель этой статьи - показать возможности COPY ... FROM PROGRAM и простейшие приемы парсинга XML в PostgreSQL.

Базы данных

«PostgreSQL для начинающих»: #2 — Простые SELECT

В этой статье автор разберет самые простые, но важные возможности команды SELECT, наиболее часто используемой при работе с базами данных - формирование выборок (VALUES), их ограничение (LIMIT/OFFSET/FETCH), фильтрацию (WHERE/HAVING), сортировку (ORDER BY), уникализацию (DISTINCT) и группировку (GROUP BY).

Базы данных

Нормальные формы баз данных

В этом ролике автор рассматривает процесс нормализации баз данных и разбирает для чего он нужен. Вы узнаете что такое нормальная форма и какие формы существуют.

00:00 Введение
01:20 Что такое нормализация
02:08 Что такое избыточность данных с примерами
04:51 Какие бывают нормальные формы БД
08:00 Ненормализованная форма
09:37 Первая нормальная форма
11:24 Вторая нормальная форма
15:29 Что такое декомпозиция
16:18 Третья нормальная форма
18:54 Нормальная форма Бойса-Кодда
21:54 Четвертая нормальная форма
27:45 Почему обычно не нормализуют до 5 или 6 формы
29:14 Пятая нормальная форма
35:39 Шестая нормальная форма
38:02 Выводы и заключение

Смотреть это видео на youtube: youtu.be/zqQxWdTpSIA

Правильная работа с базой данных на Python

Эта статья рассчитана в основном на новичков, в ней автор подробно рассматривает, как не упереться в лимиты подключений к базе, чтобы приложение в продакшн при этом не упало.

Базы данных

Немного про OR в SQL запросах

Несмотря на избитость темы и многочисленные рекомендации избегать OR в выражениях WHERE/ON SQL запросов, жизнь вносит свои коррективы. Иногда сама постановка задачи подразумевает необходимость использовать OR. В этой статье автор разберет случай, когда OR должно привести к двум разным выборкам по разным индексам одной и той же таблицы.

Базы данных

Почему Trino такой быстрый: архитектура оптимизатора SQL-запросов

Аналитические системы должны эффективно обрабатывать сложные пользовательские запросы к десяткам и сотням терабайт данных. Продвинутый оптимизатор запросов является важнейшим компонентом любого big data движка. В этой статье автор разбирает, как устроен оптимизатор запросов в массивно-параллельном аналитическом SQL-движке Trino.

Базы данных

Поиск данных в таблицах и базе SQL

В этом ролике автор подробно разбирает поиск данных в таблицах и базе SQL. Вы рассмотрите работу ROWNUM, поиск по таблицам и полям через ALL TABLES, USER TABLES, USER TAB COLUMNS и др.

00:00 Вступление
00:18 Вводная часть про SQL-поиск
04:32 Вывод ограниченного набора строк (ROWNUM)
04:58 Поиск по таблицам в существующей схеме (USER TABLES)
05:42 Поиск по полям и таблицам в существующей схеме (USER TAB COLUMNS)
06:25 Поиск по полям и таблицам по всем доступным схемам (ALL TABLES и ALL TAB COLUMNS)
07:03 Поиск и просмотр доступных схем в базе данных
07:33 Выборка данных (SELECT) из другой схемы

Смотреть это видео на youtube: youtu.be/iv7ux_5AroM

Оптимизация работы с большим объемом данных при помощи партиционирования в SQL

Оптимизация работы с данными позволяет снизить временные затраты, улучшить производительность и повысить доступность приложения. В этой статье автор подробно разбирает партиционирование - один из эффективных методов оптимизации работы с большим объемом данных.

Базы данных

Как оптимизировать медленные SQL запросы?

В этой статье автор рассмотрит решение наиболее распространённых проблем с производительностью БД, вызванных неправильной индексацией. Примеры будут приведены для Postgres, MySQL и SQLite.

Базы данных

«PostgreSQL для начинающих»: #3 — Сложные SELECT

В этой статье автор углубится в расширенные возможности команды SELECT: как можно "сложить" и "вычесть" выборки (UNION/INTERSECT/EXCEPT), или запомнить их и использовать повторно (даже в рекурсивных запросах), что дают оконные функции (WINDOW) и соединения (JOIN).

Базы данных

Базы данных: 1, 2, 3 нормальные формы

В этом ролике автор поговорит о:
• Нормализации баз данных
• 1 нормальной форме
• 2 нормальной форме
• 3 нормальной форме

Смотреть это видео на youtube: youtu.be/zwQzL80U51c