Как управлять масштабной инфраструктурой из 15 000 инстансов баз данных для 100 инженеров проектов? 🤔
В своей статье Tech Lead of DBA Core RnD компании Wildberries Андрей Аксенов делится опытом автоматизации раскатки, настройки и жизненного цикла БД с помощью Ansible, Tarantool и продуманной архитектуры.
Узнайте, как команда построила удобный конвейер с изолированными переменными, уменьшила порог входа для инженеров, внедрила систему тестирования ролей и настроила Cicd для надёжности и масштабируемости. Если вы работаете с большими инфраструктурами и стремитесь снизить когнитивную нагрузку команды, этот кейс станет отличным примером для вдохновения и практических идей!
В своей статье Tech Lead of DBA Core RnD компании Wildberries Андрей Аксенов делится опытом автоматизации раскатки, настройки и жизненного цикла БД с помощью Ansible, Tarantool и продуманной архитектуры.
Узнайте, как команда построила удобный конвейер с изолированными переменными, уменьшила порог входа для инженеров, внедрила систему тестирования ролей и настроила Cicd для надёжности и масштабируемости. Если вы работаете с большими инфраструктурами и стремитесь снизить когнитивную нагрузку команды, этот кейс станет отличным примером для вдохновения и практических идей!
Хабр
Конференции Олега Бунина (Онтико), Москва - Профессиональные конференции для IT-разработчиков / Статьи
1 197 статей от авторов компании Конференции Олега Бунина (Онтико)
❤2🔥2👍1
Data Internals X 2025 — это инвестиция в ваше техническое развитие и решение завтрашних проблем уже сегодня
Доклады, отобранные в программу, только подтверждают этот тезис. Каждое выступление наполнено техническими деталями, которые обычно остаются за кадром, а каждый спикер — настоящий эксперт в своей нише. Сегодня хотим поделиться анонсом сразу 9 докладов секции "Разработка СУБД".
Виталий Исаев «Многопоточное и/или консистентное чтение из реляционных источников данных в федеративных системах»
Будет полезно всем, кому интересно внутреннее устройство федеративных СУБД и движков обработки федеративных запросов, а также проблематика консолидации данных из разных источников.
Максим Маевский «DuckDB для работы с графами: форматы хранения графа в S3, расширение GraphAr и опыт разработки»
Будет полезно разработчикам ПО и аналитикам данных.
Дмитрий Попатов «Балансировка данных на кластерах OpenSearch: покоординатный спуск»
Будет полезно бэкенд-разработчикам, разработчикам баз данных и им сочувствующим.
Андрей Бородин «Managed Sharded PostgreSQL Service в Яндекс Облаке»
Будет полезно разработчикам и пользователям баз данных.
Алексей Лукьянчиков «Оптимальное вычисление выражений в аналитических запросах с использованием SIMD и JIT»
Будет полезно разработчикам движков SQL
Александр Календарев «Citus изнутри: как устроен шардинг»
Будет полезно архитекторам БД, администраторам PostgreSQL, программистам.
Дмитрий Еманов «Технология многоуровневого инкрементального резервирования и ее интеграция с ядром СУБД»
Будет полезно разработчикам СУБД, администраторам и пользователям СУБД, бэкенд-разработчикам.
Александр Зевайкин «Векторный поиск в YDB: опыт выбора и реализации»
Будет полезно разработчикам, лидам разработки, техническим менеджерам. Всем, кто решал, решает или интересуется задачами машинного обучения и построения больших распределенных баз данных.
Александра Латышева «Балансировка по нагрузке в динтаблицах YTsaurus»
Будет полезно разработчикам распределенных СУБД и продвинутым пользователям, которые сталкиваются с задачей утилизации железа в распределенных СУБД.
📎 Изучить полную программу конференции
🤍 Приобрести билеты на мероприятие
Доклады, отобранные в программу, только подтверждают этот тезис. Каждое выступление наполнено техническими деталями, которые обычно остаются за кадром, а каждый спикер — настоящий эксперт в своей нише. Сегодня хотим поделиться анонсом сразу 9 докладов секции "Разработка СУБД".
Виталий Исаев «Многопоточное и/или консистентное чтение из реляционных источников данных в федеративных системах»
Будет полезно всем, кому интересно внутреннее устройство федеративных СУБД и движков обработки федеративных запросов, а также проблематика консолидации данных из разных источников.
Максим Маевский «DuckDB для работы с графами: форматы хранения графа в S3, расширение GraphAr и опыт разработки»
Будет полезно разработчикам ПО и аналитикам данных.
Дмитрий Попатов «Балансировка данных на кластерах OpenSearch: покоординатный спуск»
Будет полезно бэкенд-разработчикам, разработчикам баз данных и им сочувствующим.
Андрей Бородин «Managed Sharded PostgreSQL Service в Яндекс Облаке»
Будет полезно разработчикам и пользователям баз данных.
Алексей Лукьянчиков «Оптимальное вычисление выражений в аналитических запросах с использованием SIMD и JIT»
Будет полезно разработчикам движков SQL
Александр Календарев «Citus изнутри: как устроен шардинг»
Будет полезно архитекторам БД, администраторам PostgreSQL, программистам.
Дмитрий Еманов «Технология многоуровневого инкрементального резервирования и ее интеграция с ядром СУБД»
Будет полезно разработчикам СУБД, администраторам и пользователям СУБД, бэкенд-разработчикам.
Александр Зевайкин «Векторный поиск в YDB: опыт выбора и реализации»
Будет полезно разработчикам, лидам разработки, техническим менеджерам. Всем, кто решал, решает или интересуется задачами машинного обучения и построения больших распределенных баз данных.
Александра Латышева «Балансировка по нагрузке в динтаблицах YTsaurus»
Будет полезно разработчикам распределенных СУБД и продвинутым пользователям, которые сталкиваются с задачей утилизации железа в распределенных СУБД.
📎 Изучить полную программу конференции
🤍 Приобрести билеты на мероприятие
❤4🔥4🎉3
Онлайн или оффлайн, вот в чем вопрос? 🤔
🧡Для любителей живого общения, нетворкинга и движа личное участие в конференции будет лучшим решением. Вы сможете не только набраться знаний, но и получите возможность обзавестись знакомствами и подзарядиться энергией.
💜Для тех, кто не сможет приехать в Москву в эти даты, предлагаем присмотреться к онлайн-билету. Вы также получите новые знания и сможете задать все свои вопросы спикеру, но при этом вам даже не нужно вставать с кровати и выходить из дома.
📎 Ознакомиться с полной программой
💬 Приобрести билеты
🧡Для любителей живого общения, нетворкинга и движа личное участие в конференции будет лучшим решением. Вы сможете не только набраться знаний, но и получите возможность обзавестись знакомствами и подзарядиться энергией.
💜Для тех, кто не сможет приехать в Москву в эти даты, предлагаем присмотреться к онлайн-билету. Вы также получите новые знания и сможете задать все свои вопросы спикеру, но при этом вам даже не нужно вставать с кровати и выходить из дома.
📎 Ознакомиться с полной программой
💬 Приобрести билеты
❤5🔥2❤🔥1
📎 Александр Бергер — руководитель направления качества данных Wildberries & Russ — приглашает вас на Data Internals X и рассказывает о своем грядущем выступлении:
«Там я поделюсь опытом построения гибкой распределенной системы для обеспечения качества данных. Опыт, который можно смело перенимать и который актуален в современных реалиях. Расскажу также, как настроить процесс, чтобы эта система стала стройным иммунитетом для вашей экоструктуры и data-экосистемы»
«Там я поделюсь опытом построения гибкой распределенной системы для обеспечения качества данных. Опыт, который можно смело перенимать и который актуален в современных реалиях. Расскажу также, как настроить процесс, чтобы эта система стала стройным иммунитетом для вашей экоструктуры и data-экосистемы»
❤4❤🔥2
Прокачайте стек и сэкономьте до 30% — мультибилет на Data Internals X и HighLoad++ 🔥
Если вы работаете с базами данных, проектируете архитектуру высоконагруженных систем или оптимизируете производительность под капотом — этот формат для вас.
Мультибилет — это не просто проход на две конференции, это возможность:
🟣 Расширить технический стек и прокачать уже имеющиеся hard-skills;
🟣 Углубиться в реальные кейсы от лидеров индустрии и получить практические знания, которые можно применять в production уже на следующий день;
🟣 Обменяться опытом с коллегами и обсудить проблемы, которые не гуглятся.
И, конечно, это шанс посетить сразу две технически насыщенные программы по выгодной стоимости:
🔴 Легендарная конференция HighLoad++ — для разработчиков высоконагруженных систем. На одной площадке соберутся сильнейшие разработчики highload-систем, чтобы обсудить самые актуальные темы индустрии, обменяться знаниями о технологиях, позволяющих одновременно обслуживать многие тысячи и миллионы пользователей, разобрать реальные кейсы с решением конкретных задач.
🔴 Конференция нового формата Data Internals X — для всех тех, кто работает с базами данных. Хардкорное мероприятие с акцентом на технических инсайтах от создателей СУБД, практических решениях, оптимизации на уровне железа и реальном опыте импортозамещения.
Ваша выгода при покупке мультибилета — 34'000 ₽
Купить один билет и попасть сразу на две конференции
⠀
📍Встречаемся в Москве:
🟣 23 сентября на Data Internals X
🟣 6 и 7 ноября на HighLoad++
Если вы работаете с базами данных, проектируете архитектуру высоконагруженных систем или оптимизируете производительность под капотом — этот формат для вас.
Мультибилет — это не просто проход на две конференции, это возможность:
И, конечно, это шанс посетить сразу две технически насыщенные программы по выгодной стоимости:
Ваша выгода при покупке мультибилета — 34'000 ₽
Купить один билет и попасть сразу на две конференции
⠀
📍Встречаемся в Москве:
Please open Telegram to view this post
VIEW IN TELEGRAM
👏3👍2🔥2❤1
🔥 Airflow без Python, Spark без Kubernetes, ревью без боли — всё это в одном месте.
23 сентября спикеры секции «Практические примеры внедрения» расскажут, как упростить жизнь дата-инженерам и аналитикам.
Михаил Зотов «Airflow еще доступнее: опыт self-service-оркестрации в Lemana Tech»
Доклад о том, как сделать Airflow удобным для аналитиков: типовые сценарии перевели в YAML-конфигурации, убрав необходимость базовых знаний Python.
Артемий Наумов «Ревью без боли: DataOps-подход к управлению изменениями в DWH»
В условиях Data Mesh, где нет централизованной команды инженеров данных и аналитиков, поддержание качества кода в распределенной среде стало ключевым вызовом. Артемий расскажет об опыте команды по оптимизации и улучшению платформы данных: как они внедрили статические и интеграционные тесты для SQL-кода и автоматизировали контроль за выполнением пользователями стандартов разработки.
Евгений Милин «Гибкая настройка параметров запуска Spark-приложений»
Евгений расскажет о методах настройки Spark-приложений для оптимизации ресурсов и повышения производительности на PROD. А также о ключевых параметрах конфигурации, на которые стоит обращать внимание, и на примерах из практики увидим реальные результаты.
Сергей Емельянов Мастер класс: «От события до дашборда в облаках: практика по созданию потоковой платформы на Kubernetes»
На этом мастер-классе мы уйдем от локальных скриптов и docker-compose и погрузимся в создание настоящего Cloud Native-пайплайна для аналитики в реальном времени. Используя Flink Kubernetes Operator, участники декларативно развернут и свяжут воедино весь стек: от Kafka-совместимого брокера до stateful-обработки на Apache Flink и сверхбыстрой визуализации в ClickHouse.
В результате: вы научитесь мыслить Kubernetes-нативными паттернами, управлять сложными data-приложениями как единым целым и строить системы, готовые к масштабированию и работе в реальном production.
Юрий Орлов «Простой Python, автоматический Spark: минус Kubernetes, плюс продуктивность»
Создание и управление конфигурациями Helm для приложений Spark в облачной инфраструктуре требуют значительных временных затрат и экспертизы в области эксплуатации систем. Команда Юрия автоматизировала развертывание Spark в облаке и создала клиент на Python, который полностью минимизирует знания в области DevOps и Kubernetes, необходимые для начала работы со Spark.
📎 Ознакомиться с полной программой
💬 Приобрести билеты
23 сентября спикеры секции «Практические примеры внедрения» расскажут, как упростить жизнь дата-инженерам и аналитикам.
Михаил Зотов «Airflow еще доступнее: опыт self-service-оркестрации в Lemana Tech»
Доклад о том, как сделать Airflow удобным для аналитиков: типовые сценарии перевели в YAML-конфигурации, убрав необходимость базовых знаний Python.
Артемий Наумов «Ревью без боли: DataOps-подход к управлению изменениями в DWH»
В условиях Data Mesh, где нет централизованной команды инженеров данных и аналитиков, поддержание качества кода в распределенной среде стало ключевым вызовом. Артемий расскажет об опыте команды по оптимизации и улучшению платформы данных: как они внедрили статические и интеграционные тесты для SQL-кода и автоматизировали контроль за выполнением пользователями стандартов разработки.
Евгений Милин «Гибкая настройка параметров запуска Spark-приложений»
Евгений расскажет о методах настройки Spark-приложений для оптимизации ресурсов и повышения производительности на PROD. А также о ключевых параметрах конфигурации, на которые стоит обращать внимание, и на примерах из практики увидим реальные результаты.
Сергей Емельянов Мастер класс: «От события до дашборда в облаках: практика по созданию потоковой платформы на Kubernetes»
На этом мастер-классе мы уйдем от локальных скриптов и docker-compose и погрузимся в создание настоящего Cloud Native-пайплайна для аналитики в реальном времени. Используя Flink Kubernetes Operator, участники декларативно развернут и свяжут воедино весь стек: от Kafka-совместимого брокера до stateful-обработки на Apache Flink и сверхбыстрой визуализации в ClickHouse.
В результате: вы научитесь мыслить Kubernetes-нативными паттернами, управлять сложными data-приложениями как единым целым и строить системы, готовые к масштабированию и работе в реальном production.
Юрий Орлов «Простой Python, автоматический Spark: минус Kubernetes, плюс продуктивность»
Создание и управление конфигурациями Helm для приложений Spark в облачной инфраструктуре требуют значительных временных затрат и экспертизы в области эксплуатации систем. Команда Юрия автоматизировала развертывание Spark в облаке и создала клиент на Python, который полностью минимизирует знания в области DevOps и Kubernetes, необходимые для начала работы со Spark.
📎 Ознакомиться с полной программой
💬 Приобрести билеты
🔥3❤1👍1
Нейросеть человеку друг
Но в каждой дружбе есть свои нюансы
Евгений Семенюк — Product Owner платформы для продуктовой аналитики в Сбере — выступит с докладом для тех, кто хочет быстро и безопасно осуществлять поиск нужных показателей в BI среди большого разнообразия доступного контента.
📎 Ознакомиться с полной программой
💬 Приобрести билеты
Евгений Семенюк — Product Owner платформы для продуктовой аналитики в Сбере — выступит с докладом для тех, кто хочет быстро и безопасно осуществлять поиск нужных показателей в BI среди большого разнообразия доступного контента.
ИИ-ассистент должен непрерывно обновлять знания о моделях данных и дашбордах, адаптируясь к изменениям предметной области. Как сделать так, чтобы ваш ИИ-агент развивался вместе с вашим бизнесом? Чтобы он забывал об устаревших дашбордах, узнавал о новых и не галлюцинировал? Подробности — в докладе.
📎 Ознакомиться с полной программой
💬 Приобрести билеты
❤3👍2❤🔥1
Чат-бот Data Internals X — один из ваших помощников на конференции — @usedataconf_bot
В чат-боте вы можете:
🔴 Заранее собрать собственный трек интересных докладов
🔴 Посмотреть расписание конференции
🔴 Получить напоминание о начале избранных докладов в день конференции
🔴 Оценить доклады
🔴 И многое другое!
До встречи на конференции! 💜
В чат-боте вы можете:
До встречи на конференции! 💜
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5❤1🔥1
Мы ждали, вы ждали...
И вот — завтра стартует конференция по инженерии данных, базам данных и системам хранения и обработки данных!
🔥 Собрали самую главную организационную информацию и ссылки, которые могут вам пригодиться. Поэтому сохраните пост, чтобы потом не искать (также этот пост можно будет найти в закрепе)
Место проведения конференции: Loft Hall #3, ул. Ленинская Слобода, 26, стр. 15 (м. Автозаводская)
📍Точка на Яндекс.Картах
🔴 Обращаем ваше внимание, что на территории Loft Hall #3, к сожалению, не предусмотрена парковка.
🔴 Здесь схема конференции
📃 Расписание программы на сайте.
PDF-версию расписания оставили файлом в комментариях — рекомендуем скачать заранее, чтобы не тратить время на загрузку ссылки
🛜 Интернет на конференции. Официального Wi-Fi на площадке нет. Вы можете воспользоваться интернет-пакетом вашего сотового оператора.
🫕 Обеды и кофе-брейки. На конференции организован кофе-брейк, расположение можно посмотреть на схеме конференции. Вас ждут Welcome кофе-брейк, плотный кофе-брейк в обед и afterparty после церемонии закрытия!
🧳 Тяжелые вещи, чемоданы и уличную обувь (в пакете) можно оставить в гардеробе.
❓ Если у вас возникнут вопросы, пишите в чат конференции или в чат поддержки
Ждем вас 🙌
И вот — завтра стартует конференция по инженерии данных, базам данных и системам хранения и обработки данных!
🔥 Собрали самую главную организационную информацию и ссылки, которые могут вам пригодиться. Поэтому сохраните пост, чтобы потом не искать (также этот пост можно будет найти в закрепе)
Место проведения конференции: Loft Hall #3, ул. Ленинская Слобода, 26, стр. 15 (м. Автозаводская)
📍Точка на Яндекс.Картах
📃 Расписание программы на сайте.
PDF-версию расписания оставили файлом в комментариях — рекомендуем скачать заранее, чтобы не тратить время на загрузку ссылки
🛜 Интернет на конференции. Официального Wi-Fi на площадке нет. Вы можете воспользоваться интернет-пакетом вашего сотового оператора.
🫕 Обеды и кофе-брейки. На конференции организован кофе-брейк, расположение можно посмотреть на схеме конференции. Вас ждут Welcome кофе-брейк, плотный кофе-брейк в обед и afterparty после церемонии закрытия!
🧳 Тяжелые вещи, чемоданы и уличную обувь (в пакете) можно оставить в гардеробе.
❓ Если у вас возникнут вопросы, пишите в чат конференции или в чат поддержки
Ждем вас 🙌
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3
🔥Доброе утро! Совсем скоро начнется первая профессиональная конференция по инженерии данных, базам данных и системам хранения и обработки данных Data Internals X
🖇 Регистрация откроется в 8:45 и продлится всю конференцию
🖇 Первые доклады начинаются в 10:00, последние заканчиваются в 19:00. После окончания деловой программы и закрытия конференции состоится afterparty.
🖇 Длительность докладов — 50 минут + перерыв на 10–20 минут
Расписание доступно по ссылке:
👉 https://datainternals.ru/2025/schedule
После регистрации ждём вас на открытии конференции в 9:40 в зале Ratusha ⚡️
🖇 Регистрация откроется в 8:45 и продлится всю конференцию
🖇 Первые доклады начинаются в 10:00, последние заканчиваются в 19:00. После окончания деловой программы и закрытия конференции состоится afterparty.
🖇 Длительность докладов — 50 минут + перерыв на 10–20 минут
Расписание доступно по ссылке:
👉 https://datainternals.ru/2025/schedule
После регистрации ждём вас на открытии конференции в 9:40 в зале Ratusha ⚡️
❤4🔥1👌1
📂Регистрация уже началась!
Чтобы пройти её максимально быстро, подготовьте заранее:
- любой документ, удостоверяющий личность
- электронный билет (его можно скачать из вашего Личного кабинета)
После регистрации вы сможете выпить чашечку бодрящего кофе (или чая), завести первые знакомства и настроиться на продуктивный день! ☕️
В 9:40 ждём вас в зале Ratusha на торжественном открытии конференции!
Чтобы пройти её максимально быстро, подготовьте заранее:
- любой документ, удостоверяющий личность
- электронный билет (его можно скачать из вашего Личного кабинета)
После регистрации вы сможете выпить чашечку бодрящего кофе (или чая), завести первые знакомства и настроиться на продуктивный день! ☕️
В 9:40 ждём вас в зале Ratusha на торжественном открытии конференции!
❤4🔥4👍2
Задать вопросы спикеру, обсудить доклады, поделиться своими впечатлениями — всё это можно сделать в чате нашей конференции @dataengineershub 🔗
P.S. там же вы можете найти соратников для будущих проектов и устроить спонтанную профессиональную дискуссию
P.S. там же вы можете найти соратников для будущих проектов и устроить спонтанную профессиональную дискуссию
👍4❤3🔥3
Через 10 минут стартуют первые доклады 🔥
📍Зал Ratusha
10:00 — «Выжимаем максимум из Clickhouse для BI-отчетности с ограниченным бюджетом» Михаил Кацуба (Lenta Tech)
11:10 — «Векторный поиск в YDB: опыт выбора и реализации» Александр Зевайкин (YDB)
📍Зал Grace
10:00 — «Managed Sharded PostgreSQL Service в Яндекс Облаке» Андрей Бородин (Yandex Cloud)
11:10 — «Балансировка по нагрузке в динтаблицах YTsaurus» Александра Латышева (Яндекс)
📍Зал Wood
10:00 — «От Pydantic v1 к v2: глубокий разбор Pydantic Core на Rust и алгоритмов валидаторов» Арсений Савин (Effective)
11:10 — «Внедрение Data Catalog в Циан: наш путь к прозрачности работы с данными» Любовь Марисева (Циан)
📍Зал Secret
10:00 — «Дата-контракты — как создать продукт с нуля, изменив мышление всей компании» Анна Мавлютова (Т-Банк)
11:10 — «Как подготовить платформу данных к миграции уже сейчас?» Владислав Заболоцкий (Райффайзен Банк)
Оперативно найти нужный зал можно по схеме конференции
📍Зал Ratusha
10:00 — «Выжимаем максимум из Clickhouse для BI-отчетности с ограниченным бюджетом» Михаил Кацуба (Lenta Tech)
11:10 — «Векторный поиск в YDB: опыт выбора и реализации» Александр Зевайкин (YDB)
📍Зал Grace
10:00 — «Managed Sharded PostgreSQL Service в Яндекс Облаке» Андрей Бородин (Yandex Cloud)
11:10 — «Балансировка по нагрузке в динтаблицах YTsaurus» Александра Латышева (Яндекс)
📍Зал Wood
10:00 — «От Pydantic v1 к v2: глубокий разбор Pydantic Core на Rust и алгоритмов валидаторов» Арсений Савин (Effective)
11:10 — «Внедрение Data Catalog в Циан: наш путь к прозрачности работы с данными» Любовь Марисева (Циан)
📍Зал Secret
10:00 — «Дата-контракты — как создать продукт с нуля, изменив мышление всей компании» Анна Мавлютова (Т-Банк)
11:10 — «Как подготовить платформу данных к миграции уже сейчас?» Владислав Заболоцкий (Райффайзен Банк)
Оперативно найти нужный зал можно по схеме конференции
❤4👍4🔥4
🔥5❤4👍4
В течение дня не забывайте делать перерывы на кофе-брейки. Вас ждет разнообразное меню в свободном доступе 😉
❤4🔥3🤝2🫡2