DevOps для данных: как ускорить обработку и передачу информации за счет принципов DataOps
DevOps — это набор принципов, лучшие практики и инструменты, которые помогают компаниям быстро разрабатывать и доставлять ПО. Суть этого подхода заключается в максимальной автоматизации продуктового жизненного цикла — создания, тестирования, развертывания и т.д. DataOps описывают как DevOps, только применительно к данным. Продукты данных (data product) добавляют больше переменных в процессы, относящиеся к доставке ценности, а не к ПО.
Базы данных
DevOps — это набор принципов, лучшие практики и инструменты, которые помогают компаниям быстро разрабатывать и доставлять ПО. Суть этого подхода заключается в максимальной автоматизации продуктового жизненного цикла — создания, тестирования, развертывания и т.д. DataOps описывают как DevOps, только применительно к данным. Продукты данных (data product) добавляют больше переменных в процессы, относящиеся к доставке ценности, а не к ПО.
Базы данных
Как ускорить базу данных при помощи шардирования
Шардирование было одним из первых механизмов, позволяющих распределять базы данных для повышения их производительности. Последние инновации превратили шардирование в один из лучших механизмов в своем роде.
Базы данных
Шардирование было одним из первых механизмов, позволяющих распределять базы данных для повышения их производительности. Последние инновации превратили шардирование в один из лучших механизмов в своем роде.
Базы данных
Media is too big
VIEW IN TELEGRAM
Классификация и область применения различных типов баз данных
В этом видео автор представляет полную классификацию существующих баз данных. Вы разберете их преимущества, недостатки, область применения, а также популярность по отношению друг к другу.
00:00 Введение
01:13 Общий обзор разновидностей баз данных
08:54 Временная шкала развития БД
10:50 График популярности разных БД
12:04 Oracle
14:32 MySQL
16:10 MariaDB
17:34 Microsoft SQL Server
19:15 PostgreSQL
20:41 MongoDB (документо-ориентированная)
23:27 Redis ("ключ-значение")
24:29 ElasticSearch (поисковая)
25:16 Cassandra (многостолбцовая)
26:30 Neo4j (графовая)
27:25 Couchbase (многомодельная)
28:29 InfluxDB (временные ряды)
32:43 Итоги
Смотреть это видео на youtube: youtu.be/_Ucy2TtHqBM
В этом видео автор представляет полную классификацию существующих баз данных. Вы разберете их преимущества, недостатки, область применения, а также популярность по отношению друг к другу.
00:00 Введение
01:13 Общий обзор разновидностей баз данных
08:54 Временная шкала развития БД
10:50 График популярности разных БД
12:04 Oracle
14:32 MySQL
16:10 MariaDB
17:34 Microsoft SQL Server
19:15 PostgreSQL
20:41 MongoDB (документо-ориентированная)
23:27 Redis ("ключ-значение")
24:29 ElasticSearch (поисковая)
25:16 Cassandra (многостолбцовая)
26:30 Neo4j (графовая)
27:25 Couchbase (многомодельная)
28:29 InfluxDB (временные ряды)
32:43 Итоги
Смотреть это видео на youtube: youtu.be/_Ucy2TtHqBM
Модель SQLAlchemy с базой данных SQL Server в Python
В этой статье автор покажет, как создать модель на основе существующей базы данных SQL Server, используя ту же файловую структуру, чтобы сохранить организованность вашего проекта. Это означает, что каждый класс и модель базы данных будут храниться в отдельном файле.
Базы данных
В этой статье автор покажет, как создать модель на основе существующей базы данных SQL Server, используя ту же файловую структуру, чтобы сохранить организованность вашего проекта. Это означает, что каждый класс и модель базы данных будут храниться в отдельном файле.
Базы данных
SQL: бесплатные курсы и тренажёры, которые стоит попробовать
В этой подборке вы найдёте ресурсы, которые помогут освоить основы, потренироваться в написании запросов и расширить знания о работе с базами данных. Многие из них интерактивные, что позволяет сразу перейти к практике и углубиться в интересующие темы.
Базы данных
В этой подборке вы найдёте ресурсы, которые помогут освоить основы, потренироваться в написании запросов и расширить знания о работе с базами данных. Многие из них интерактивные, что позволяет сразу перейти к практике и углубиться в интересующие темы.
Базы данных
Зачем нужен fillfactor в PostgreSQL
Один параметр PostgreSQL может похоронить вашу производительность, если вы о нём забудете — это fillfactor. Почему однократная настройка числа приводит к неожиданным page split, bloat и мучительному откату запросов? Давайте разбираться.
Базы данных
Один параметр PostgreSQL может похоронить вашу производительность, если вы о нём забудете — это fillfactor. Почему однократная настройка числа приводит к неожиданным page split, bloat и мучительному откату запросов? Давайте разбираться.
Базы данных
Media is too big
VIEW IN TELEGRAM
Схема базы данных
В этом ролике автор подробно и наглядно рассматривает процесс построения схем баз данных.
00:00 Схема базы данных
00:48 Таблицы на схеме
01:20 Столбцы и типы данных
02:26 Связи между таблицами
02:49 Типы связей между таблицами
04:42 Примеры таблиц базы данных
06:11 Пример SQL запроса с JOIN для извлечения данных
08:07 Пример использования для объединения трех таблиц
10:38 Итоги
12:05 Инструмент для создания схем DrawSQL
Смотреть это видео на youtube: youtu.be/d67ZjgY12G8
В этом ролике автор подробно и наглядно рассматривает процесс построения схем баз данных.
00:00 Схема базы данных
00:48 Таблицы на схеме
01:20 Столбцы и типы данных
02:26 Связи между таблицами
02:49 Типы связей между таблицами
04:42 Примеры таблиц базы данных
06:11 Пример SQL запроса с JOIN для извлечения данных
08:07 Пример использования для объединения трех таблиц
10:38 Итоги
12:05 Инструмент для создания схем DrawSQL
Смотреть это видео на youtube: youtu.be/d67ZjgY12G8
Вся мощь открытого исходного кода в PostgreSQL
В этом материале автор разбирает мощь и преимущества использования открытого исходного кода в PostgreSQL, а также его влияние на развитие технологий и сообщества.
Базы данных
В этом материале автор разбирает мощь и преимущества использования открытого исходного кода в PostgreSQL, а также его влияние на развитие технологий и сообщества.
Базы данных
Как мы переносили базу Clickhouse между географически удаленными дата-центрами
В этой статье автор рассказывает, как в его компании переносили данные, не имея возможности отключить сервис или воспользоваться автоматической репликацией.
Базы данных
В этой статье автор рассказывает, как в его компании переносили данные, не имея возможности отключить сервис или воспользоваться автоматической репликацией.
Базы данных
Media is too big
VIEW IN TELEGRAM
Big Data
В этом ролике авторы обсуждают следующие вопросы: что такое большие данные, кто такие data scientist специалисты, как управлять data специалистами, зачем каждой компании нужно задуматься о больших данных и др.
00:00 Вступление
00:50 Почему большие данные — это важно
03:25 Магия и Big data
06:42 Как сейчас большие данные помогают в ритейле
13:20 Про историю взаимодействия с клиентом
14:49 Кто такие data scientist специалисты
18:20 Как управлять data специалистами
22:55 Про эффективного руководителя
32:01 Развитие сотрудников, ответственность и гордыня
36:48 Что нужно молодым программистам
42:30 Про проведение изменений в большой компании
Смотреть это видео на youtube: youtu.be/eGWYKmX7PoI
В этом ролике авторы обсуждают следующие вопросы: что такое большие данные, кто такие data scientist специалисты, как управлять data специалистами, зачем каждой компании нужно задуматься о больших данных и др.
00:00 Вступление
00:50 Почему большие данные — это важно
03:25 Магия и Big data
06:42 Как сейчас большие данные помогают в ритейле
13:20 Про историю взаимодействия с клиентом
14:49 Кто такие data scientist специалисты
18:20 Как управлять data специалистами
22:55 Про эффективного руководителя
32:01 Развитие сотрудников, ответственность и гордыня
36:48 Что нужно молодым программистам
42:30 Про проведение изменений в большой компании
Смотреть это видео на youtube: youtu.be/eGWYKmX7PoI
Восхитительная теория якорных баз данных
Transitional Modeling призвано отразить происходящие в реальной жизни события в простом, но эффективном формате, минимизируя при этом потерю информации в процессе записи таких событий. По своей сути оно сообщает об объектах и разнообразных, многогранных ситуациях, в которых эти объекты оказываются.
Базы данных
Transitional Modeling призвано отразить происходящие в реальной жизни события в простом, но эффективном формате, минимизируя при этом потерю информации в процессе записи таких событий. По своей сути оно сообщает об объектах и разнообразных, многогранных ситуациях, в которых эти объекты оказываются.
Базы данных
Трассировка запросов в Postgres с расширением pg_trace
В этой статье автор расскажет о расширении pg_trace, предназначенном для сбора трассировок запросов в PostgreSQL, соберет трассировку на реальном примере работы приложения, оценит влияние сбора трассировки на производительность и агрегирует данные трассировки.
Базы данных
В этой статье автор расскажет о расширении pg_trace, предназначенном для сбора трассировок запросов в PostgreSQL, соберет трассировку на реальном примере работы приложения, оценит влияние сбора трассировки на производительность и агрегирует данные трассировки.
Базы данных
Media is too big
VIEW IN TELEGRAM
Нормализация и денормализация базы данных
Понимание нормализации и денормализации - это основа основ SQL. Если кратко, нормализованное состояние БД удобно для хранения и редактирования данных, а денормализованное - для отображения.
SQL имеет большое количество инструментов, как из нормального состояния преобразовать таблицы в денормализованные, одна из таких возможностей - это объединение таблиц через FROM и перечисление нескольких таблиц.
Умение склеивать таблицы разными способами поможет вам на собеседовании, а также облегчит понимание темы JOIN в SQL.
00:00 Введение
00:25 Нормализованная структура БД
00:40 Денормализовання структура БД
01:28 Анализ БД
02:25 Первичный и внешний ключ SQL
05:16 Склейка через FROM и псевдонимы
09:19 SELECT с указанием таблицы
11:37 Целостность баз данных
Смотреть это видео на youtube: youtu.be/oOJgHQ5Yuto
Понимание нормализации и денормализации - это основа основ SQL. Если кратко, нормализованное состояние БД удобно для хранения и редактирования данных, а денормализованное - для отображения.
SQL имеет большое количество инструментов, как из нормального состояния преобразовать таблицы в денормализованные, одна из таких возможностей - это объединение таблиц через FROM и перечисление нескольких таблиц.
Умение склеивать таблицы разными способами поможет вам на собеседовании, а также облегчит понимание темы JOIN в SQL.
00:00 Введение
00:25 Нормализованная структура БД
00:40 Денормализовання структура БД
01:28 Анализ БД
02:25 Первичный и внешний ключ SQL
05:16 Склейка через FROM и псевдонимы
09:19 SELECT с указанием таблицы
11:37 Целостность баз данных
Смотреть это видео на youtube: youtu.be/oOJgHQ5Yuto
Что такое Data Service и почему он может быть вам полезен
Сегодня компании собирают огромное количество данных разных типов и качества. Естественно, эти данные нужно хранить, обрабатывать и находить им применение. В данной статье автор расскажет, как это происходит в его компании.
Базы данных
Сегодня компании собирают огромное количество данных разных типов и качества. Естественно, эти данные нужно хранить, обрабатывать и находить им применение. В данной статье автор расскажет, как это происходит в его компании.
Базы данных
Media is too big
VIEW IN TELEGRAM
Базовые SELECT запросы в SQL
В этом видеокурсе автор разбирает основы SQL: вы узнаете что такое SQL, научитесь писать SQL-запросы различной сложности. Все эти знания будут легко применимы не только к PostgreSQL, но и к другим СУБД: MySQL, Microsoft SQL Server, Oracle.
0:00:00 Полная выборка данных с SELECT
0:07:06 Выборка и простая арифметика в SQL
0:10:30 Использование DISTINCT
0:15:29 Использование COUNT
0:25:17 Использование WHERE
0:36:17 AND и OR
0:46:56 BETWEEN
0:52:27 IN, NOT IN
0:57:24 Сортировка с ORDER BY
1:02:37 MIN, MAX, AVG
1:16:14 LIKE для поиска строк
1:22:21 LIMIT
1:24:36 Проверка на NULL: IS NULL, IS NOT NULL
1:27:38 Группировка с GROUP BY
1:37:06 UNION, INTERSECT, EXCEPT
Смотреть это видео на youtube: youtu.be/QlTKtC0_Wgk
В этом видеокурсе автор разбирает основы SQL: вы узнаете что такое SQL, научитесь писать SQL-запросы различной сложности. Все эти знания будут легко применимы не только к PostgreSQL, но и к другим СУБД: MySQL, Microsoft SQL Server, Oracle.
0:00:00 Полная выборка данных с SELECT
0:07:06 Выборка и простая арифметика в SQL
0:10:30 Использование DISTINCT
0:15:29 Использование COUNT
0:25:17 Использование WHERE
0:36:17 AND и OR
0:46:56 BETWEEN
0:52:27 IN, NOT IN
0:57:24 Сортировка с ORDER BY
1:02:37 MIN, MAX, AVG
1:16:14 LIKE для поиска строк
1:22:21 LIMIT
1:24:36 Проверка на NULL: IS NULL, IS NOT NULL
1:27:38 Группировка с GROUP BY
1:37:06 UNION, INTERSECT, EXCEPT
Смотреть это видео на youtube: youtu.be/QlTKtC0_Wgk
Ликбез по методологиям проектирования хранилищ данных
Хранилище данных — это информационная система, в которой хранятся исторические и коммутативные данные из одного или нескольких источников. Он предназначен для анализа, составления отчетов и интеграции данных транзакций из разных источников. В этой статье автор рассмотрит сильные и слабые стороны самых популярных методологий.
Базы данных
Хранилище данных — это информационная система, в которой хранятся исторические и коммутативные данные из одного или нескольких источников. Он предназначен для анализа, составления отчетов и интеграции данных транзакций из разных источников. В этой статье автор рассмотрит сильные и слабые стороны самых популярных методологий.
Базы данных
Как дисциплина управления мастер-данными влияет на продажи
В этой статье автор поделится, чем грамотно построенные процессы управления мастер-данными могут помочь продажам.
Базы данных
В этой статье автор поделится, чем грамотно построенные процессы управления мастер-данными могут помочь продажам.
Базы данных
This media is not supported in your browser
VIEW IN TELEGRAM
Основы SQL: Подзапросы
В этом видео автор подробно и наглядно разбирает работу с подзапросам в SQL.
00:00 Подзапросы в SQL (subqueries)
00:52 Запуск подзапросов в SELECT
02:01 Подзапрос, возвращающий список значений
04:25 Подзапросы в UPDATE
05:57 Итоги
Смотреть это видео на youtube: youtu.be/Df6tQlWhn3Q
В этом видео автор подробно и наглядно разбирает работу с подзапросам в SQL.
00:00 Подзапросы в SQL (subqueries)
00:52 Запуск подзапросов в SELECT
02:01 Подзапрос, возвращающий список значений
04:25 Подзапросы в UPDATE
05:57 Итоги
Смотреть это видео на youtube: youtu.be/Df6tQlWhn3Q
Использование миграций баз данных в Go
В этом материале автор расскажет о том, как можно использовать миграции базы данных в ваших сервисах, написанных на Golang.
Базы данных
В этом материале автор расскажет о том, как можно использовать миграции базы данных в ваших сервисах, написанных на Golang.
Базы данных
Как Figma удалось открыть себе путь к почти бесконечному масштабированию баз данных
С 2020 года стек баз данных Figma вырос почти в сотню раз. Это хорошая проблема, ведь она означает, что бизнес расширяется. Но в то же время она стала причиной технических сложностей. В течение последних четырёх лет они усиленно старались не отставать от прогресса и избегать потенциальных проблем, связанных с ростом.
Базы данных
С 2020 года стек баз данных Figma вырос почти в сотню раз. Это хорошая проблема, ведь она означает, что бизнес расширяется. Но в то же время она стала причиной технических сложностей. В течение последних четырёх лет они усиленно старались не отставать от прогресса и избегать потенциальных проблем, связанных с ростом.
Базы данных
This media is not supported in your browser
VIEW IN TELEGRAM
Функции SQL для даты и времени
В этом видеоуроке автор подробно разбирает функции SQL, необходимые для работы с датой и временем.
00:00 Вступление
00:27 Получение системной даты и времени (SYSDATE)
01:05 Преобразовать строку в дату (TO_DATE)
01:59 Получить последний день месяца (LAST_DAY)
02:28 Добавить N-ое количество месяцев (ADD_MONTHS)
02:57 Извлечь год, квартал, месяц (EXTRACT)
03:14 Получить первый день года, квартала, месяца или недели (TRUNC)
Смотреть это видео на youtube: youtu.be/_6XWUJ2zf8Y
В этом видеоуроке автор подробно разбирает функции SQL, необходимые для работы с датой и временем.
00:00 Вступление
00:27 Получение системной даты и времени (SYSDATE)
01:05 Преобразовать строку в дату (TO_DATE)
01:59 Получить последний день месяца (LAST_DAY)
02:28 Добавить N-ое количество месяцев (ADD_MONTHS)
02:57 Извлечь год, квартал, месяц (EXTRACT)
03:14 Получить первый день года, квартала, месяца или недели (TRUNC)
Смотреть это видео на youtube: youtu.be/_6XWUJ2zf8Y