Data Internals – Telegram
Data Internals
226 subscribers
78 photos
16 videos
1 file
72 links
Канал профессиональной конференции по инженерии данных, базам данных, системам хранения и обработки данных

Сайт: datainternals.ru
Чат: t.me/dataengineershub
Download Telegram
Мы позаботились о вашей карьере
Что можно вписать в свое резюме после посещения Data Internals X? (часть 2)

Позавчера мы опубликовали первую часть формулировок, которыми вы сможете украсить свое резюме после конференции. Делимся второй, не менее эффектной и интересной, половиной!
👍32
“Дата Контракты - как создать продукт с нуля, изменив мышление всей компании”
Доклад Анны Мавлютовой о новом на российском рынке подходе к управлению данными через внедрение дата-контрактов.

Основные выгоды подхода, о котором Анна расскажет 23 сентября:

- оптимизация разработки
- выстраивание инцидент-менеджмента
- устранение хаоса в управлении данными между командами
- упрощение внедрения Data Governance в крупных компаниях

Посетить выступление будет интересно всем, кто работает с данными, кто развивает собственные data-платформы и решает задачи организации взаимодействия между источниками и потребителями данных. А также тем, кто интересуется темами Data Mesh, data governance, shift-left и автоматизацией управления метаданными.

Участники получат готовую методологию запуска Data Governance продукта: от идеи до масштабирования на десятки команд, узнают конкретные технические решения (GitOps, policy-as-code) и стратегии преодоления организационного сопротивления. А также детально разберутся в практических кейсах изменения корпоративной культуры и ускорения adoption новых процессов в enterprise-среде.

📌 Изучить полную программу конференции и приобрести билеты
5
Почему Data Internals X 2025 — это инвестиция в бизнес?

Data Internals X 2025 — это не просто "техническая тусовка", это стратегическая инвестиция в устойчивость и конкурентоспособность бизнеса.

Один день конференции сэкономит вашей компании месяцы на консалтинге и даст годы конкурентного преимущества. Программа мероприятия сфокусирована на том, как выжать максимум из существующей инфраструктуры, а не на том, как потратить бюджет на новые инструменты.

Внедрив в работу практики и знания наших спикеров, вы увидите конкретные результаты уже спустя 3-6 месяцев:
- Снижение затрат на инфраструктуру на 30-50% через оптимизацию запросов и архитектуры
- Ускорение аналитики в 10 раз через внедрение AI-агентов для поиска метрик
- Сокращение времени разработки data-продуктов на 40% через DataOps-практики
- Готовность к импортозамещению без критических рисков для бизнеса

Изучить полную программу конференции и приобрести билеты

P.S. Мы даем особые условия для корпоративного участия (от 10 билетов на очное или онлайн-участие) - все подробности можно узнать, написав на почту partners@ontico.ru
2👍1
Успеть за 20 минут
Мы ввели в программу Data Internals X особенный формат лекций — Lighting Talks.

Каждое выступление в рамках такого формата длится всего 20 минут. За это короткое время спикер успевает поделиться своим кейсом, а также рассказать о самых главных ошибках и самых важных практических рекомендациях. А участники конференции не успевают устать и растерять фокус внимания.

Целых три лекции “облегченного” формата вы сможете посетить по теме “Управление данными”:

Александр Бояркин “Data Governance в финтехе: конкурентное преимущество в эпоху AI”

Доклад Александра про опыт внедрения Data Governance, внедрение политик и процедур в командах, реализацию технологических решений и мониторинг эффективности. Изменение процессов — это не happy path, поэтому речь пойдем и о том, что не сработало в первоначальном плане и об ошибках, которых можно было избежать.

Марина Суслова “Python вместо ручек. Как мы автоматизировали проставление атрибутов сущностей в дата-каталоге”

Каталог данных — о нем многие говорят и внедряют в своих компаниях, но после успешного этапа интеграции все неизбежно сталкиваются с тем, что ручной процесс заполнения каталога трудоемкий и подвержен человеческим ошибкам. Марина поделится тем, как автоматизировать процесс заполнения и перестать страдать.

Ирина Шахтарина “Работа над качеством данных - вершина айcберга или дно впадины?”

Ирина прошла трудный путь согласования требований, создания и настройки комплексных проверок, и теперь готова поделиться этим опытом на примере контроля качества данных отдела «Управление благосостоянием» Сбера. Приглашаем на лекцию всех, кто хочет узнать, как улучшить качество ваших данных не для галочки, а в долгосрочной перспективе.
❤‍🔥42
Всё о том, как работает векторный поиск в YDB и как его можно реализовать

Руководитель группы разработки ядра распределённой отказоустойчивой базы данных YDB
Александр Зевайкин выступит со своим докладом “Векторный поиск в YDB: опыт выбора и реализации”

Участники получат детальное понимание современных подходов к векторному поиску в эпоху AI. Спикер расскажет о неудачных попытках HNSW и Random projections, а также даст готовые решения для RAG-систем и практические знания по реализации векторных индексов в production-системах от разработчиков YDB.

Какие боли закроет доклад Александра:
Сложность интеграции AI и векторного поиска в существующие системы
Низкая производительность векторных индексов в распределенных СУБД
Проблемы с фильтрацией и обновлением векторных данных

Подписывайтесь
📱 @dataconference
📱 Data Internals
Please open Telegram to view this post
VIEW IN TELEGRAM
👍52
Знали ли рыцари Круглого стола, что спустя 1500 лет круглые столы будут собирать IT-специалисты?

Вряд ли, но это никак не помешало нам организовать Круглый стол – открытый микрофон «Как вырастить специалиста по базам данных?».

Как стать специалистом по базам данных? Как индустрии получить необходимое количество специалистов? Эксперты из разных областей вместе с гостями конференции поделятся своим мнением и попытаются дать ответы на эти вопросы.

Посетить эту часть программы стоит всем начинающим специалистам в области СУБД, специалистам, которые учатся, преподают или хотят преподавать в ВУЗах, а также вендерам, которые думают о сотрудничестве с ВУЗами/ССУЗами и выбирают формат.

Ключевые тезисы дискуссии:
1. ИТ-корпорации не просто обучают — они создают экосистемы мышления и практик вокруг СУБД.
2. ИТ-корпорации становятся ключевыми игроками в образовании, но это создает риски монополизации знаний.
3. Open-source и сообщества — противовес корпоративному влиянию, сохраняющий разнообразие навыков.
4. Сегодняшний ВУЗ — лишь одна из локаций формирования знаний; другие — внутренняя платформа и сообщество компании.
5. Если компания формирует учебный контент, ей выгодно, чтобы выпускники сразу встраивались в её схемы и процессы.
6. Открытость и совместные исследования позволяют вернуть индустриальные наработки обратно в академическую среду.

Изучить полную программу конференции и приобрести билеты
3👍2🔥2
Эффективно, быстро и без лишней «воды»
Именно эти слова лучше всего описывают доклады секции «Разработка инструментов работы с данными»

Максим Мартынов «DataRentgen: чем плох lineage в OSS DataCatalog, и как сделать лучше»
🎯Кому будет интересно? Data Engineers, разработчикам инструментов для DE, Data Goverance.

Максим расскажет путь к разработке инструмента длиною в полтора года — требования пользователей, RnD Open Source-решений и их недостатки, немного метаний между разными технологиями сбора и хранения Lineage, и к чему в конечном итоге пришла команда.

Арсений Савин «От Pydantic v1 к v3: глубокий разбор Pydantic Core на Rust и алгоритмов валидаторов»
🎯Кому будет интересно? Backend Developers, Web Developers, Data Engineers, Data Analysts и CTO

Какие ключевые оптимизации PydanticCore обеспечили прирост производительности? Как устроена внутренняя архитектура CoreSchema и SchemaValidator? Какие алгоритмы лежат в основе валидаторов? Какие изменения API и планы на Pydantic v3? На эти и многие другие вопросы Арсений ответит во время своего доклада о Pydantic.

📌 Изучить полную программу конференции и приобрести билеты
2🔥2
«Любит не любит?»

Такими вопросами наш Программный комитет не задается. Этим людям интереснее: «Актуально не актуально?»

Ведь именно Программный комитет все эти месяцы отбирал для вас самые актуальные и востребованные доклады. И у них получилось! Остаться равнодушным к программе Data Internals X не сможет ни один специалист, работающий с базами данных.

Ознакомиться с расписанием конференции
Приобрести билеты на мероприятие
6👍2🔥2
О том, как приручить петабайты данных и найти призраков забытых таблиц 👀
Руководитель платформы данных в Циане Алёна Катренко делится своим опытом в статье на Habr

О важности Data Governance, выборе инструментов для управления метаданными и способах развития в быстро меняющейся сфере дата-инженерии.

Будет полезно тем, кто хочет разобраться в нюансах работы с данными, выбрать правильные инструменты и идти в ногу с новыми технологиями.

📃 Прочесть статью
4👍3
ТОП-5 докладов на Data Internals X
В программу конференции уже вошли самые лучшие и нужные для индустрии доклады. Но мы пошли дальше и составили для вас подборку из 5 докладов, от пользы которых захватывает дух!

Александр Зевайкин «Векторный поиск в YDB: опыт выбора и реализации»
Почему стоит посетить? Детальный разбор нескольких подходов к реализации векторного индекса в YDB, включая неудачные попытки HNSW и Random projections. Актуально для эпохи AI и RAG-систем.

Анна Мавлютова «Дата Контракты - как создать продукт с нуля, изменив мышление всей компании»
Почему стоит посетить? Эксперт из Т-Банка раскроет полный цикл создания внутреннего продукта Data Contracts за год — от идеи до масштабирования на десятки команд, показав как технические решения (GitOps, policy-as-code), так и стратегии изменения корпоративной культуры.

Сергей Волков «Все еще ходите за метриками в BI? Как мы экспериментировали с LLM и не пRAGадали»
Почему стоит посетить? Команда Сбера с масштабом 6 млрд событий в день покажет реальное решение проблемы поиска нужных метрик среди тысяч дашбордов через LLM-агентов — от концепции до внедрения в корпоративный мессенджер с GigaChat. Вы узнаете практические подходы к автоматизации работы с BI-системами и получите готовые решения для ускорения аналитической работы, которые можно адаптировать под свои задачи.

Александр Бергер «Data Quality как distributed-система: алерты, аномалии и автоматизация»
Почему стоит посетить? Современный подход к DQ с использованием LLM для автогенерации проверок и практические решения для enterprise-масштаба.

Алексей Захожий «Как мы решардим петабайтные кликхаузы в MyTracker: удаляй и властвуй»
Почему стоит посетить? Уникальная техника решардинга через DELETE вместо традиционного INSERT INTO SELECT. Опыт работы с десятками петабайт данных и неожиданное применение сэмплирования ClickHouse.

Поделитесь своей подборкой докладов, которых ждёте больше всего ❤️‍🔥

📎 Изучить полную программу конференции
🤍 Приобрести билеты на мероприятие
6🔥4❤‍🔥1
Глубина, недоступная на бизнес-ориентированных конференциях

В рамках секции “Системы хранения” ведущие эксперты из топовых IT-компаний поделятся реальными кейсами и подробно расскажут о самых эффективных подходах. Технический уровень докладов и их практическая польза изменят ваш взгляд на работу с системами хранения.

Константин Дорошенко “Доставка данных для ML в Kubernetes: от S3 до распределенных проектных хранилищ”

Доклад для тех, кто интересуется распределенным машинным обучением. Чтобы дорогие GPU не простаивали, Константин с командой придумали планировщик задач и слои кеширования в сторадже, которые позволяют им согласовать подготовку данных и запуск задач на обучение.

Дмитрий Листвин “Вы строите Lakehouse, а сторадж строит вам проблемы”

Честный отчет о том, как выжить и масштабироваться, когда сторадж стал узким горлышком всей аналитической платформы.

Концентрированный опыт и знания о том, как извлечь максимум производительности из Ceph и на практике добиться высокой пропускной способности HDD. Будет полезно тем, кто уже пользуется Ceph, и тем, кто только выбирает реализацию для S3.

Константин Неумоин “CSI-драйверы: подводные камни и архитектурные решения”

Этот доклад подойдет для тех, кто хочет понять, как CSI-драйверы влияют на стабильность PVC и монтирование томов. Константин поделится опытом разработки драйвера csi-scsi-generic, подходом к архитектуре драйвера, универсальность и расширяемость. А также проблемами, которые решала его команда: resize, multipath, очистка устройств.

📎 Изучить полную программу конференции
🤍 Приобрести билеты на мероприятие
🔥42👌1
Последнее повышение цен на билеты

Уже 23 сентября пройдёт профессиональная конференция по инженерии данных, базам данных и системам хранения
и обработки данных Data Internals X. Это не просто “профессиональный движ”, это по-настоящему хардкорная конференция, которая усилит ваши скиллы и даст ответ на большинство рабочих вопросов:

🎯 Глубина технических решений
Программа фокусируется на внутренних механизмах работы с данными — от разработки СУБД до оптимизации запросов и устойчивости к высоким нагрузкам. Это редкая возможность погрузиться в технические детали, которые обычно остаются за кадром.
🏭 Практический опыт масштабирования
Все доклады основаны на реальном опыте работы с петабайтными данными, высоконагруженными системами и решением production-задач в крупных компаниях (Яндекс, Сбер, VK, Т-Банк).
🔧 Импортозамещение и Open Source
Особый акцент на отечественные решения и open-source технологии, что критически важно в текущих реалиях.
🧠 Концентрированный опыт
30+ докладов за один день — максимальная плотность экспертных знаний и нетворкинга с 300+ участниками.

🤍 Приобрести билеты на мероприятие по выгодной цене можно до 31 августа (включительно)
1👍1🔥1
Мы начинаем работу над новым продуктом 🔥

В связи с этим приглашаем вас принять участие в опросе, который поможет нам лучше понять ваши потребности и сделать действительно нужный продукт для вас и про вас.

Для участия достаточно перейти по ссылке ниже и заполнить опрос (время заполнения 1-3 минуты)
🔗 https://anketolog.ru/rs/955741/ZAKMeTOs

Спасибо за ваше участие!
👍21