Media is too big
VIEW IN TELEGRAM
СУБД ClickHouse: настоящее и будущее
В этом видео автор поделится основными принципами и целями развития ClickHouse, отличительными чертами и преимуществами системы, которые планируют развивать. Также автор рассмотрит недостатки и неудобства системы.
Помимо этого вы познакомитесь с некоторыми новыми возможностями ClickHouse, которые раньше сложно было даже представить.
Смотреть это видео на youtube: youtu.be/qeZOT8B8QiA
В этом видео автор поделится основными принципами и целями развития ClickHouse, отличительными чертами и преимуществами системы, которые планируют развивать. Также автор рассмотрит недостатки и неудобства системы.
Помимо этого вы познакомитесь с некоторыми новыми возможностями ClickHouse, которые раньше сложно было даже представить.
Смотреть это видео на youtube: youtu.be/qeZOT8B8QiA
Как оптимизировать PostgreSQL и не лишиться сна
В работе автор часто сталкивается с вопросами производительности PostgreSQL, поэтому собрал практические советы для разработчиков, инженеров и архитекторов облачной инфраструктуры. В статье вы рассмотрите, как правильно использовать индексы, анализировать планы выполнения запросов и избегать типичных ошибок при проектировании схемы.
Базы данных
В работе автор часто сталкивается с вопросами производительности PostgreSQL, поэтому собрал практические советы для разработчиков, инженеров и архитекторов облачной инфраструктуры. В статье вы рассмотрите, как правильно использовать индексы, анализировать планы выполнения запросов и избегать типичных ошибок при проектировании схемы.
Базы данных
Оптимизация запросов в ClickHouse с помощью создания цепочки материализованных представлений
Материализованное представление - это специальный тип таблицы, содержащей результат выполнения запроса к исходным данным. Этот результат фактически представляет собой кэшированное представление данных из исходных таблиц.
Базы данных
Материализованное представление - это специальный тип таблицы, содержащей результат выполнения запроса к исходным данным. Этот результат фактически представляет собой кэшированное представление данных из исходных таблиц.
Базы данных
После ухода зарубежных вендоров рынок СУБД в России стал меняться быстро и по всем фронтам. В интервью «Коду» Леонид Савченков из Yandex Cloud рассказывает, как в компании выстраивают платформу данных под эти реалии.
Ключевые фокусы — стабильность, масштабируемость и опора на open source. После закрытия Greenplum Яндекс поддерживает его последнюю открытую версию (v6) и параллельно развивает Cloudberry — активный форк в составе Apache Software Foundation.
Яндекс активно коммитит в Postgres и Clickhouse. Первым внедрил кворумную репликацию — ту самую, которую позже адаптировали AWS и Azure. Сейчас в разработке облачный сервис для шардированных инстансов Postgres.
На замену Greenplum приходит Cloudberry: проект развивается под крылом Apache, и Яндекс активно его коммитит.
Из свежего — BI-платформа DataLens получила редактор для визуализаций на JS и публичную галерею дашбордов. А YTsaurus теперь доступен как управляемый сервис — для тех, кто работает с эксабайтами.
Ключевые фокусы — стабильность, масштабируемость и опора на open source. После закрытия Greenplum Яндекс поддерживает его последнюю открытую версию (v6) и параллельно развивает Cloudberry — активный форк в составе Apache Software Foundation.
Яндекс активно коммитит в Postgres и Clickhouse. Первым внедрил кворумную репликацию — ту самую, которую позже адаптировали AWS и Azure. Сейчас в разработке облачный сервис для шардированных инстансов Postgres.
На замену Greenplum приходит Cloudberry: проект развивается под крылом Apache, и Яндекс активно его коммитит.
Из свежего — BI-платформа DataLens получила редактор для визуализаций на JS и публичную галерею дашбордов. А YTsaurus теперь доступен как управляемый сервис — для тех, кто работает с эксабайтами.
Как пройти… к третьей нормальной форме?
В литературе описывается шесть или даже больше нормальных форм, однако в большинстве случаев достаточно доведения базы данных до третьей нормальной формы. Более того, в ряде случаев, если это даёт прирост производительности, допускается отступление и от этих требований — выполняется так называемая денормализация таблиц.
Базы данных
В литературе описывается шесть или даже больше нормальных форм, однако в большинстве случаев достаточно доведения базы данных до третьей нормальной формы. Более того, в ряде случаев, если это даёт прирост производительности, допускается отступление и от этих требований — выполняется так называемая денормализация таблиц.
Базы данных
Media is too big
VIEW IN TELEGRAM
NoSQL простым языком: что это и зачем нужно?
NoSQL — тип баз данных, которые хранят данные в отличном от реляционных таблиц формате. Они узкоспециализированны для конкретных задач и нужны для улучшения производительности, масштабируемости и удобства в работе. В этом ролике автор подробно и наглядно разберёт данный тип БД.
Смотреть это видео на youtube: youtu.be/IBzTDkYNB7I
NoSQL — тип баз данных, которые хранят данные в отличном от реляционных таблиц формате. Они узкоспециализированны для конкретных задач и нужны для улучшения производительности, масштабируемости и удобства в работе. В этом ролике автор подробно и наглядно разберёт данный тип БД.
Смотреть это видео на youtube: youtu.be/IBzTDkYNB7I
PondPilot: как мы сделали локальный SQL-редактор в браузере на DuckDB и WASM
Любой, кто хоть раз пытался «по-быстрому» проанализировать CSV-файл или прототип БД, сталкивался с выбором из неудобств: открывать в Excel, запускать Jupyter, возиться с pandas, или поднимать Postgres/ClickHouse ради пары запросов. Автору показалось странным, что до сих пор нет удобной zero-setup SQL-песочницы для локальных данных.
Базы данных
Любой, кто хоть раз пытался «по-быстрому» проанализировать CSV-файл или прототип БД, сталкивался с выбором из неудобств: открывать в Excel, запускать Jupyter, возиться с pandas, или поднимать Postgres/ClickHouse ради пары запросов. Автору показалось странным, что до сих пор нет удобной zero-setup SQL-песочницы для локальных данных.
Базы данных
Консолидация баз данных: этапы, методы и примеры
Сейчас во всём мире объёмы данных растут с невероятной скоростью, и чтобы эффективно использовать их потенциал, требуется правильное хранение и управление информацией. Одним из наиболее эффективных способов решения этой проблемы является консолидация баз данных. В этой статье автор разберет, какую пользу может принести консолидация баз данных и как её провести на практике.
Базы данных
Сейчас во всём мире объёмы данных растут с невероятной скоростью, и чтобы эффективно использовать их потенциал, требуется правильное хранение и управление информацией. Одним из наиболее эффективных способов решения этой проблемы является консолидация баз данных. В этой статье автор разберет, какую пользу может принести консолидация баз данных и как её провести на практике.
Базы данных
Реляционные vs Связанные данные
В этой статье автор разберет, что такое реляционная модель и связанные с ней SQL и реляционная алгебра. Вы рассмотрите примеры связанных данных из Викидата, а далее RDF, SPARQL и узнаете про Datalog и логическое представление данных. В конце статьи выводы — когда применять реляционную модель, а когда связно-логическую.
Базы данных
В этой статье автор разберет, что такое реляционная модель и связанные с ней SQL и реляционная алгебра. Вы рассмотрите примеры связанных данных из Викидата, а далее RDF, SPARQL и узнаете про Datalog и логическое представление данных. В конце статьи выводы — когда применять реляционную модель, а когда связно-логическую.
Базы данных
Media is too big
VIEW IN TELEGRAM
Иерархические (рекурсивные) запросы
При построении SQL-запросов иногда может потребоваться соединение таблицы с самой собой. Например, если таблица содержит список сотрудников с указанием должностной подчиненности, или филиалов и входящих в них под-филиалов, то можно вывести всю иерархию одним запросом, дописав всего лишь несколько слов. В этом видеоуроке автор подробно разбирает такие иерархические (рекурсивные) запросы.
Смотреть это видео на youtube: youtu.be/9_MuOe6KrmE
При построении SQL-запросов иногда может потребоваться соединение таблицы с самой собой. Например, если таблица содержит список сотрудников с указанием должностной подчиненности, или филиалов и входящих в них под-филиалов, то можно вывести всю иерархию одним запросом, дописав всего лишь несколько слов. В этом видеоуроке автор подробно разбирает такие иерархические (рекурсивные) запросы.
Смотреть это видео на youtube: youtu.be/9_MuOe6KrmE
Как провести нагрузочное тестирование БД PostgreSQL и ничего не забыть
При нагрузочном тестировании баз данных PostgreSQL с использованием стандартного инструмента pgbench отсутствие фиксации деталей окружения (таких как конфигурация СУБД, характеристики сервера, версии ПО) часто приводит к нерепрезентативным результатам и необходимости повторных тестов. В этой статье рассматривается разработанный автором инструмент pg_perfbench, который призван решить эту проблему.
Базы данных
При нагрузочном тестировании баз данных PostgreSQL с использованием стандартного инструмента pgbench отсутствие фиксации деталей окружения (таких как конфигурация СУБД, характеристики сервера, версии ПО) часто приводит к нерепрезентативным результатам и необходимости повторных тестов. В этой статье рассматривается разработанный автором инструмент pg_perfbench, который призван решить эту проблему.
Базы данных
Шардирование баз данных и проектирование систем
Шардирование базы данных — это процесс её разделения на несколько машин, что способствует масштабируемости приложения. Механизм шардирования предполагает разбиение данных на два или более мелких фрагмента, называемых логическими шардами. Затем логические блоки распределяются по отдельным узлам базы данных, называемым физическими блоками, каждый из которых может содержать несколько логических блоков.
Базы данных
Шардирование базы данных — это процесс её разделения на несколько машин, что способствует масштабируемости приложения. Механизм шардирования предполагает разбиение данных на два или более мелких фрагмента, называемых логическими шардами. Затем логические блоки распределяются по отдельным узлам базы данных, называемым физическими блоками, каждый из которых может содержать несколько логических блоков.
Базы данных
Как перейти с Oracle на PostgreSQL, используя Ora2Pg
В этой статье автор поговорит об актуальной задаче — миграции баз данных с Oracle на PostgreSQL с использованием Ora2Pg. Сейчас популярность PostgreSQL обоснована его мощностями и экономически выгодной альтернативы коммерческим решениям.
Базы данных
В этой статье автор поговорит об актуальной задаче — миграции баз данных с Oracle на PostgreSQL с использованием Ora2Pg. Сейчас популярность PostgreSQL обоснована его мощностями и экономически выгодной альтернативы коммерческим решениям.
Базы данных
Media is too big
VIEW IN TELEGRAM
Теория баз данных
В этом видеоуроке автор подробно разбирает основы баз данных.
00:55 Содержание
01:59 БД и СУБД: MySQL vs PostgreSQL
03:58 Состав БД: индексы, транзакции, триггеры
07:10 SQL vs NoSQL
11:40 Типы данных
15:27 Как описывать поля в ТЗ
17:31 Типы связей
19:55 Выбор типа поля
24:00 Как описывать связи в ТЗ
27:17 Как проектировать связи в БД
30:34 Ключи Primary и Foreign
34:30 Нормализация
36:48 Лайфхаки
39:18 Миграции, сиды, дампы
Смотреть это видео на youtube: youtu.be/YdCGGBUCoDQ
В этом видеоуроке автор подробно разбирает основы баз данных.
00:55 Содержание
01:59 БД и СУБД: MySQL vs PostgreSQL
03:58 Состав БД: индексы, транзакции, триггеры
07:10 SQL vs NoSQL
11:40 Типы данных
15:27 Как описывать поля в ТЗ
17:31 Типы связей
19:55 Выбор типа поля
24:00 Как описывать связи в ТЗ
27:17 Как проектировать связи в БД
30:34 Ключи Primary и Foreign
34:30 Нормализация
36:48 Лайфхаки
39:18 Миграции, сиды, дампы
Смотреть это видео на youtube: youtu.be/YdCGGBUCoDQ
PostgreSQL 16. Организация данных (часть 1)
Эта статья является объединением книги «PostgreSQL 16 изнутри» и официальной документации с рисунками автора, объясняющими написанное в более наглядном и простом варианте.
Базы данных
Эта статья является объединением книги «PostgreSQL 16 изнутри» и официальной документации с рисунками автора, объясняющими написанное в более наглядном и простом варианте.
Базы данных
Media is too big
VIEW IN TELEGRAM
Основы работы в Oracle SQL Developer
В этом видеоуроке автор подробно и наглядно разбирает основы работы с бесплатной визуальной средой разработки Oracle SQL Developer, а также основные преимущества и недостатки использования данной среды.
Смотреть это видео на youtube: youtu.be/yZHAI9wfaE0
В этом видеоуроке автор подробно и наглядно разбирает основы работы с бесплатной визуальной средой разработки Oracle SQL Developer, а также основные преимущества и недостатки использования данной среды.
Смотреть это видео на youtube: youtu.be/yZHAI9wfaE0
Media is too big
VIEW IN TELEGRAM
План обучения SQL с нуля
SQL - главный инструмент в работе аналитика данных. Выучить SQL с нуля за месяц более чем реально. Автор составил для вас план обучения и подобрал материалы, чтобы учить SQL самостоятельно.
00:00 Как пользоваться планом
01:34 Введение, ключи, типы данных
03:32 Условие WHERE + операторы
07:21 Основные функции и условия
10:26 SQL Joins
12:59 Агрегирующие функции + GROUP BY
14:31 HAVING и ORDER BY
15:30 Подзапросы + Common Table Expressions
18:08 Оконные функции в SQL
21:14 Основные ресурсы для теории и практики
Смотреть это видео на youtube: youtu.be/YZhVmTKC9W4
SQL - главный инструмент в работе аналитика данных. Выучить SQL с нуля за месяц более чем реально. Автор составил для вас план обучения и подобрал материалы, чтобы учить SQL самостоятельно.
00:00 Как пользоваться планом
01:34 Введение, ключи, типы данных
03:32 Условие WHERE + операторы
07:21 Основные функции и условия
10:26 SQL Joins
12:59 Агрегирующие функции + GROUP BY
14:31 HAVING и ORDER BY
15:30 Подзапросы + Common Table Expressions
18:08 Оконные функции в SQL
21:14 Основные ресурсы для теории и практики
Смотреть это видео на youtube: youtu.be/YZhVmTKC9W4
Разделяемость данных между микросервисами
Сервис должен владеть собственными данными и иметь возможность свободно менять их схему так, как будет сочтено нужным, не меняя при этом API, направленный вовне. Но есть важная тонкость. Чтобы как следует применять это правило, необходимо различать совместное использование источника данных и совместное использование данных как таковых.
Базы данных
Сервис должен владеть собственными данными и иметь возможность свободно менять их схему так, как будет сочтено нужным, не меняя при этом API, направленный вовне. Но есть важная тонкость. Чтобы как следует применять это правило, необходимо различать совместное использование источника данных и совместное использование данных как таковых.
Базы данных
Media is too big
VIEW IN TELEGRAM
Сервис генерирования тестовых данных для БД
На этапе разработки проектов нам требуется какой-нибудь набор тестовых данных в приемлемом количестве. Создавать такие данные вручную – неинтересное занятие. Чтобы оптимизировать процесс, часто используют библиотеку Faker, позволяющую быстро сгенерировать необходимый набор тестовых данных.
Также в качестве альтернативы можно использовать онлайн-сервис генерирования тестовых данных для БД, который автор и разберет в этом видео.
Базы данных
На этапе разработки проектов нам требуется какой-нибудь набор тестовых данных в приемлемом количестве. Создавать такие данные вручную – неинтересное занятие. Чтобы оптимизировать процесс, часто используют библиотеку Faker, позволяющую быстро сгенерировать необходимый набор тестовых данных.
Также в качестве альтернативы можно использовать онлайн-сервис генерирования тестовых данных для БД, который автор и разберет в этом видео.
Базы данных
Сравнение SQL- и NoSQL-баз данных
SQL и NoSQL — две популярные модели баз данных, которые используют для решения различных задач. В этой статье автор рассматривает основные характеристики SQL- и NoSQL-баз данных и сравнивает их, чтобы помочь выбрать лучший вариант для вашего проекта.
Базы данных
SQL и NoSQL — две популярные модели баз данных, которые используют для решения различных задач. В этой статье автор рассматривает основные характеристики SQL- и NoSQL-баз данных и сравнивает их, чтобы помочь выбрать лучший вариант для вашего проекта.
Базы данных
PostgreSQL 16. Изоляция транзакций (часть 2)
В этой части мы обсудим, как транзакции могут влиять друг на друга, вызывая "аномалии", а также рассмотрим различные уровни изоляции, которые помогают избежать подобных проблем.
Базы данных
В этой части мы обсудим, как транзакции могут влиять друг на друга, вызывая "аномалии", а также рассмотрим различные уровни изоляции, которые помогают избежать подобных проблем.
Базы данных