🔥 Airflow без Python, Spark без Kubernetes, ревью без боли — всё это в одном месте.
23 сентября спикеры секции «Практические примеры внедрения» расскажут, как упростить жизнь дата-инженерам и аналитикам.
Михаил Зотов «Airflow еще доступнее: опыт self-service-оркестрации в Lemana Tech»
Доклад о том, как сделать Airflow удобным для аналитиков: типовые сценарии перевели в YAML-конфигурации, убрав необходимость базовых знаний Python.
Артемий Наумов «Ревью без боли: DataOps-подход к управлению изменениями в DWH»
В условиях Data Mesh, где нет централизованной команды инженеров данных и аналитиков, поддержание качества кода в распределенной среде стало ключевым вызовом. Артемий расскажет об опыте команды по оптимизации и улучшению платформы данных: как они внедрили статические и интеграционные тесты для SQL-кода и автоматизировали контроль за выполнением пользователями стандартов разработки.
Евгений Милин «Гибкая настройка параметров запуска Spark-приложений»
Евгений расскажет о методах настройки Spark-приложений для оптимизации ресурсов и повышения производительности на PROD. А также о ключевых параметрах конфигурации, на которые стоит обращать внимание, и на примерах из практики увидим реальные результаты.
Сергей Емельянов Мастер класс: «От события до дашборда в облаках: практика по созданию потоковой платформы на Kubernetes»
На этом мастер-классе мы уйдем от локальных скриптов и docker-compose и погрузимся в создание настоящего Cloud Native-пайплайна для аналитики в реальном времени. Используя Flink Kubernetes Operator, участники декларативно развернут и свяжут воедино весь стек: от Kafka-совместимого брокера до stateful-обработки на Apache Flink и сверхбыстрой визуализации в ClickHouse.
В результате: вы научитесь мыслить Kubernetes-нативными паттернами, управлять сложными data-приложениями как единым целым и строить системы, готовые к масштабированию и работе в реальном production.
Юрий Орлов «Простой Python, автоматический Spark: минус Kubernetes, плюс продуктивность»
Создание и управление конфигурациями Helm для приложений Spark в облачной инфраструктуре требуют значительных временных затрат и экспертизы в области эксплуатации систем. Команда Юрия автоматизировала развертывание Spark в облаке и создала клиент на Python, который полностью минимизирует знания в области DevOps и Kubernetes, необходимые для начала работы со Spark.
📎 Ознакомиться с полной программой
💬 Приобрести билеты
23 сентября спикеры секции «Практические примеры внедрения» расскажут, как упростить жизнь дата-инженерам и аналитикам.
Михаил Зотов «Airflow еще доступнее: опыт self-service-оркестрации в Lemana Tech»
Доклад о том, как сделать Airflow удобным для аналитиков: типовые сценарии перевели в YAML-конфигурации, убрав необходимость базовых знаний Python.
Артемий Наумов «Ревью без боли: DataOps-подход к управлению изменениями в DWH»
В условиях Data Mesh, где нет централизованной команды инженеров данных и аналитиков, поддержание качества кода в распределенной среде стало ключевым вызовом. Артемий расскажет об опыте команды по оптимизации и улучшению платформы данных: как они внедрили статические и интеграционные тесты для SQL-кода и автоматизировали контроль за выполнением пользователями стандартов разработки.
Евгений Милин «Гибкая настройка параметров запуска Spark-приложений»
Евгений расскажет о методах настройки Spark-приложений для оптимизации ресурсов и повышения производительности на PROD. А также о ключевых параметрах конфигурации, на которые стоит обращать внимание, и на примерах из практики увидим реальные результаты.
Сергей Емельянов Мастер класс: «От события до дашборда в облаках: практика по созданию потоковой платформы на Kubernetes»
На этом мастер-классе мы уйдем от локальных скриптов и docker-compose и погрузимся в создание настоящего Cloud Native-пайплайна для аналитики в реальном времени. Используя Flink Kubernetes Operator, участники декларативно развернут и свяжут воедино весь стек: от Kafka-совместимого брокера до stateful-обработки на Apache Flink и сверхбыстрой визуализации в ClickHouse.
В результате: вы научитесь мыслить Kubernetes-нативными паттернами, управлять сложными data-приложениями как единым целым и строить системы, готовые к масштабированию и работе в реальном production.
Юрий Орлов «Простой Python, автоматический Spark: минус Kubernetes, плюс продуктивность»
Создание и управление конфигурациями Helm для приложений Spark в облачной инфраструктуре требуют значительных временных затрат и экспертизы в области эксплуатации систем. Команда Юрия автоматизировала развертывание Spark в облаке и создала клиент на Python, который полностью минимизирует знания в области DevOps и Kubernetes, необходимые для начала работы со Spark.
📎 Ознакомиться с полной программой
💬 Приобрести билеты
🔥3❤1👍1
Нейросеть человеку друг
Но в каждой дружбе есть свои нюансы
Евгений Семенюк — Product Owner платформы для продуктовой аналитики в Сбере — выступит с докладом для тех, кто хочет быстро и безопасно осуществлять поиск нужных показателей в BI среди большого разнообразия доступного контента.
📎 Ознакомиться с полной программой
💬 Приобрести билеты
Евгений Семенюк — Product Owner платформы для продуктовой аналитики в Сбере — выступит с докладом для тех, кто хочет быстро и безопасно осуществлять поиск нужных показателей в BI среди большого разнообразия доступного контента.
ИИ-ассистент должен непрерывно обновлять знания о моделях данных и дашбордах, адаптируясь к изменениям предметной области. Как сделать так, чтобы ваш ИИ-агент развивался вместе с вашим бизнесом? Чтобы он забывал об устаревших дашбордах, узнавал о новых и не галлюцинировал? Подробности — в докладе.
📎 Ознакомиться с полной программой
💬 Приобрести билеты
❤3👍2❤🔥1
Чат-бот Data Internals X — один из ваших помощников на конференции — @usedataconf_bot
В чат-боте вы можете:
🔴 Заранее собрать собственный трек интересных докладов
🔴 Посмотреть расписание конференции
🔴 Получить напоминание о начале избранных докладов в день конференции
🔴 Оценить доклады
🔴 И многое другое!
До встречи на конференции! 💜
В чат-боте вы можете:
До встречи на конференции! 💜
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5❤1🔥1
Мы ждали, вы ждали...
И вот — завтра стартует конференция по инженерии данных, базам данных и системам хранения и обработки данных!
🔥 Собрали самую главную организационную информацию и ссылки, которые могут вам пригодиться. Поэтому сохраните пост, чтобы потом не искать (также этот пост можно будет найти в закрепе)
Место проведения конференции: Loft Hall #3, ул. Ленинская Слобода, 26, стр. 15 (м. Автозаводская)
📍Точка на Яндекс.Картах
🔴 Обращаем ваше внимание, что на территории Loft Hall #3, к сожалению, не предусмотрена парковка.
🔴 Здесь схема конференции
📃 Расписание программы на сайте.
PDF-версию расписания оставили файлом в комментариях — рекомендуем скачать заранее, чтобы не тратить время на загрузку ссылки
🛜 Интернет на конференции. Официального Wi-Fi на площадке нет. Вы можете воспользоваться интернет-пакетом вашего сотового оператора.
🫕 Обеды и кофе-брейки. На конференции организован кофе-брейк, расположение можно посмотреть на схеме конференции. Вас ждут Welcome кофе-брейк, плотный кофе-брейк в обед и afterparty после церемонии закрытия!
🧳 Тяжелые вещи, чемоданы и уличную обувь (в пакете) можно оставить в гардеробе.
❓ Если у вас возникнут вопросы, пишите в чат конференции или в чат поддержки
Ждем вас 🙌
И вот — завтра стартует конференция по инженерии данных, базам данных и системам хранения и обработки данных!
🔥 Собрали самую главную организационную информацию и ссылки, которые могут вам пригодиться. Поэтому сохраните пост, чтобы потом не искать (также этот пост можно будет найти в закрепе)
Место проведения конференции: Loft Hall #3, ул. Ленинская Слобода, 26, стр. 15 (м. Автозаводская)
📍Точка на Яндекс.Картах
📃 Расписание программы на сайте.
PDF-версию расписания оставили файлом в комментариях — рекомендуем скачать заранее, чтобы не тратить время на загрузку ссылки
🛜 Интернет на конференции. Официального Wi-Fi на площадке нет. Вы можете воспользоваться интернет-пакетом вашего сотового оператора.
🫕 Обеды и кофе-брейки. На конференции организован кофе-брейк, расположение можно посмотреть на схеме конференции. Вас ждут Welcome кофе-брейк, плотный кофе-брейк в обед и afterparty после церемонии закрытия!
🧳 Тяжелые вещи, чемоданы и уличную обувь (в пакете) можно оставить в гардеробе.
❓ Если у вас возникнут вопросы, пишите в чат конференции или в чат поддержки
Ждем вас 🙌
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3
🔥Доброе утро! Совсем скоро начнется первая профессиональная конференция по инженерии данных, базам данных и системам хранения и обработки данных Data Internals X
🖇 Регистрация откроется в 8:45 и продлится всю конференцию
🖇 Первые доклады начинаются в 10:00, последние заканчиваются в 19:00. После окончания деловой программы и закрытия конференции состоится afterparty.
🖇 Длительность докладов — 50 минут + перерыв на 10–20 минут
Расписание доступно по ссылке:
👉 https://datainternals.ru/2025/schedule
После регистрации ждём вас на открытии конференции в 9:40 в зале Ratusha ⚡️
🖇 Регистрация откроется в 8:45 и продлится всю конференцию
🖇 Первые доклады начинаются в 10:00, последние заканчиваются в 19:00. После окончания деловой программы и закрытия конференции состоится afterparty.
🖇 Длительность докладов — 50 минут + перерыв на 10–20 минут
Расписание доступно по ссылке:
👉 https://datainternals.ru/2025/schedule
После регистрации ждём вас на открытии конференции в 9:40 в зале Ratusha ⚡️
❤4🔥1👌1
📂Регистрация уже началась!
Чтобы пройти её максимально быстро, подготовьте заранее:
- любой документ, удостоверяющий личность
- электронный билет (его можно скачать из вашего Личного кабинета)
После регистрации вы сможете выпить чашечку бодрящего кофе (или чая), завести первые знакомства и настроиться на продуктивный день! ☕️
В 9:40 ждём вас в зале Ratusha на торжественном открытии конференции!
Чтобы пройти её максимально быстро, подготовьте заранее:
- любой документ, удостоверяющий личность
- электронный билет (его можно скачать из вашего Личного кабинета)
После регистрации вы сможете выпить чашечку бодрящего кофе (или чая), завести первые знакомства и настроиться на продуктивный день! ☕️
В 9:40 ждём вас в зале Ratusha на торжественном открытии конференции!
❤4🔥4👍2
Задать вопросы спикеру, обсудить доклады, поделиться своими впечатлениями — всё это можно сделать в чате нашей конференции @dataengineershub 🔗
P.S. там же вы можете найти соратников для будущих проектов и устроить спонтанную профессиональную дискуссию
P.S. там же вы можете найти соратников для будущих проектов и устроить спонтанную профессиональную дискуссию
👍4❤3🔥3
Через 10 минут стартуют первые доклады 🔥
📍Зал Ratusha
10:00 — «Выжимаем максимум из Clickhouse для BI-отчетности с ограниченным бюджетом» Михаил Кацуба (Lenta Tech)
11:10 — «Векторный поиск в YDB: опыт выбора и реализации» Александр Зевайкин (YDB)
📍Зал Grace
10:00 — «Managed Sharded PostgreSQL Service в Яндекс Облаке» Андрей Бородин (Yandex Cloud)
11:10 — «Балансировка по нагрузке в динтаблицах YTsaurus» Александра Латышева (Яндекс)
📍Зал Wood
10:00 — «От Pydantic v1 к v2: глубокий разбор Pydantic Core на Rust и алгоритмов валидаторов» Арсений Савин (Effective)
11:10 — «Внедрение Data Catalog в Циан: наш путь к прозрачности работы с данными» Любовь Марисева (Циан)
📍Зал Secret
10:00 — «Дата-контракты — как создать продукт с нуля, изменив мышление всей компании» Анна Мавлютова (Т-Банк)
11:10 — «Как подготовить платформу данных к миграции уже сейчас?» Владислав Заболоцкий (Райффайзен Банк)
Оперативно найти нужный зал можно по схеме конференции
📍Зал Ratusha
10:00 — «Выжимаем максимум из Clickhouse для BI-отчетности с ограниченным бюджетом» Михаил Кацуба (Lenta Tech)
11:10 — «Векторный поиск в YDB: опыт выбора и реализации» Александр Зевайкин (YDB)
📍Зал Grace
10:00 — «Managed Sharded PostgreSQL Service в Яндекс Облаке» Андрей Бородин (Yandex Cloud)
11:10 — «Балансировка по нагрузке в динтаблицах YTsaurus» Александра Латышева (Яндекс)
📍Зал Wood
10:00 — «От Pydantic v1 к v2: глубокий разбор Pydantic Core на Rust и алгоритмов валидаторов» Арсений Савин (Effective)
11:10 — «Внедрение Data Catalog в Циан: наш путь к прозрачности работы с данными» Любовь Марисева (Циан)
📍Зал Secret
10:00 — «Дата-контракты — как создать продукт с нуля, изменив мышление всей компании» Анна Мавлютова (Т-Банк)
11:10 — «Как подготовить платформу данных к миграции уже сейчас?» Владислав Заболоцкий (Райффайзен Банк)
Оперативно найти нужный зал можно по схеме конференции
❤4👍4🔥4
🔥5❤4👍4
В течение дня не забывайте делать перерывы на кофе-брейки. Вас ждет разнообразное меню в свободном доступе 😉
❤4🔥3🤝2🫡2
🔥@usedataconf_bot
Чат-бот конференции, который поможет вам сориентироваться в этот насыщенный на события день:
🔴 Посмотреть расписание конференции
🔴 Получить напоминание о начале избранных докладов в день конференции
🔴 Оценить доклады
🔴 Связаться с чатом поддержки
🔴 Получить ответ на самые важные вопросы
🔴 И многое другое!
Чат-бот конференции, который поможет вам сориентироваться в этот насыщенный на события день:
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5👍4❤3
Пришло время немного отдохнуть и поучаствовать в нетворкинге с коллегами. Встречаемся через 20 минут на следующих докладах:
📍Зал Ratusha
12:20 — «Citus изнутри: как устроен шардинг» Александр Календарев
13:30 — «Как мы решардим петабайтные кликхаузы в MyTracker: удаляй и властвуй» Алексей Захожий (VK)
📍Зал Grace
12:20 — «Круглый стол «Платформа данных: баланс практичности и развития» Петр Гуринов (Лемана Тех), Олег Бондарь (Яндекс), Сергей Михалев (Т-Банк), Павел Денисенко (X5 Tech), Екатерина Канунникова (VK Tech)
13:30 — «Ревью без боли: DataOps-подход к управлению изменениями в DWH» Артемий Наумов (Лемана Тех)
📍Зал Wood
12:20 — «Гибкая настройка параметров запуска Spark-приложений» Евгений Милин (Сбер)
12:45 — «Простой Python, автоматический Spark: минус Kubernetes, плюс продуктивность» Юрий Орлов (VK, VK Cloud)
13:30 — «Data Quality как distributed-система: паттерны отказоустойчивости для данных» Александр Бергер (Wildberries & Russ)
📍Зал Secret
12:20 — «Оптимальное вычисление выражений в аналитических запросах с использованием SIMD и JIT» Алексей Лукьянчиков (Яндекс)
13:30 — «CSI-драйверы: подводные камни и архитектурные решения» Константин Неумоин (Флант)
📍Зал Ratusha
12:20 — «Citus изнутри: как устроен шардинг» Александр Календарев
13:30 — «Как мы решардим петабайтные кликхаузы в MyTracker: удаляй и властвуй» Алексей Захожий (VK)
📍Зал Grace
12:20 — «Круглый стол «Платформа данных: баланс практичности и развития» Петр Гуринов (Лемана Тех), Олег Бондарь (Яндекс), Сергей Михалев (Т-Банк), Павел Денисенко (X5 Tech), Екатерина Канунникова (VK Tech)
13:30 — «Ревью без боли: DataOps-подход к управлению изменениями в DWH» Артемий Наумов (Лемана Тех)
📍Зал Wood
12:20 — «Гибкая настройка параметров запуска Spark-приложений» Евгений Милин (Сбер)
12:45 — «Простой Python, автоматический Spark: минус Kubernetes, плюс продуктивность» Юрий Орлов (VK, VK Cloud)
13:30 — «Data Quality как distributed-система: паттерны отказоустойчивости для данных» Александр Бергер (Wildberries & Russ)
📍Зал Secret
12:20 — «Оптимальное вычисление выражений в аналитических запросах с использованием SIMD и JIT» Алексей Лукьянчиков (Яндекс)
13:30 — «CSI-драйверы: подводные камни и архитектурные решения» Константин Неумоин (Флант)
🔥4👍3❤2