Data Internals – Telegram
Data Internals
226 subscribers
78 photos
16 videos
1 file
72 links
Канал профессиональной конференции по инженерии данных, базам данных, системам хранения и обработки данных

Сайт: datainternals.ru
Чат: t.me/dataengineershub
Download Telegram
Всё о том, как работает векторный поиск в YDB и как его можно реализовать

Руководитель группы разработки ядра распределённой отказоустойчивой базы данных YDB
Александр Зевайкин выступит со своим докладом “Векторный поиск в YDB: опыт выбора и реализации”

Участники получат детальное понимание современных подходов к векторному поиску в эпоху AI. Спикер расскажет о неудачных попытках HNSW и Random projections, а также даст готовые решения для RAG-систем и практические знания по реализации векторных индексов в production-системах от разработчиков YDB.

Какие боли закроет доклад Александра:
Сложность интеграции AI и векторного поиска в существующие системы
Низкая производительность векторных индексов в распределенных СУБД
Проблемы с фильтрацией и обновлением векторных данных

Подписывайтесь
📱 @dataconference
📱 Data Internals
Please open Telegram to view this post
VIEW IN TELEGRAM
👍52
Знали ли рыцари Круглого стола, что спустя 1500 лет круглые столы будут собирать IT-специалисты?

Вряд ли, но это никак не помешало нам организовать Круглый стол – открытый микрофон «Как вырастить специалиста по базам данных?».

Как стать специалистом по базам данных? Как индустрии получить необходимое количество специалистов? Эксперты из разных областей вместе с гостями конференции поделятся своим мнением и попытаются дать ответы на эти вопросы.

Посетить эту часть программы стоит всем начинающим специалистам в области СУБД, специалистам, которые учатся, преподают или хотят преподавать в ВУЗах, а также вендерам, которые думают о сотрудничестве с ВУЗами/ССУЗами и выбирают формат.

Ключевые тезисы дискуссии:
1. ИТ-корпорации не просто обучают — они создают экосистемы мышления и практик вокруг СУБД.
2. ИТ-корпорации становятся ключевыми игроками в образовании, но это создает риски монополизации знаний.
3. Open-source и сообщества — противовес корпоративному влиянию, сохраняющий разнообразие навыков.
4. Сегодняшний ВУЗ — лишь одна из локаций формирования знаний; другие — внутренняя платформа и сообщество компании.
5. Если компания формирует учебный контент, ей выгодно, чтобы выпускники сразу встраивались в её схемы и процессы.
6. Открытость и совместные исследования позволяют вернуть индустриальные наработки обратно в академическую среду.

Изучить полную программу конференции и приобрести билеты
3👍2🔥2
Эффективно, быстро и без лишней «воды»
Именно эти слова лучше всего описывают доклады секции «Разработка инструментов работы с данными»

Максим Мартынов «DataRentgen: чем плох lineage в OSS DataCatalog, и как сделать лучше»
🎯Кому будет интересно? Data Engineers, разработчикам инструментов для DE, Data Goverance.

Максим расскажет путь к разработке инструмента длиною в полтора года — требования пользователей, RnD Open Source-решений и их недостатки, немного метаний между разными технологиями сбора и хранения Lineage, и к чему в конечном итоге пришла команда.

Арсений Савин «От Pydantic v1 к v3: глубокий разбор Pydantic Core на Rust и алгоритмов валидаторов»
🎯Кому будет интересно? Backend Developers, Web Developers, Data Engineers, Data Analysts и CTO

Какие ключевые оптимизации PydanticCore обеспечили прирост производительности? Как устроена внутренняя архитектура CoreSchema и SchemaValidator? Какие алгоритмы лежат в основе валидаторов? Какие изменения API и планы на Pydantic v3? На эти и многие другие вопросы Арсений ответит во время своего доклада о Pydantic.

📌 Изучить полную программу конференции и приобрести билеты
2🔥2
«Любит не любит?»

Такими вопросами наш Программный комитет не задается. Этим людям интереснее: «Актуально не актуально?»

Ведь именно Программный комитет все эти месяцы отбирал для вас самые актуальные и востребованные доклады. И у них получилось! Остаться равнодушным к программе Data Internals X не сможет ни один специалист, работающий с базами данных.

Ознакомиться с расписанием конференции
Приобрести билеты на мероприятие
6👍2🔥2
О том, как приручить петабайты данных и найти призраков забытых таблиц 👀
Руководитель платформы данных в Циане Алёна Катренко делится своим опытом в статье на Habr

О важности Data Governance, выборе инструментов для управления метаданными и способах развития в быстро меняющейся сфере дата-инженерии.

Будет полезно тем, кто хочет разобраться в нюансах работы с данными, выбрать правильные инструменты и идти в ногу с новыми технологиями.

📃 Прочесть статью
4👍3
ТОП-5 докладов на Data Internals X
В программу конференции уже вошли самые лучшие и нужные для индустрии доклады. Но мы пошли дальше и составили для вас подборку из 5 докладов, от пользы которых захватывает дух!

Александр Зевайкин «Векторный поиск в YDB: опыт выбора и реализации»
Почему стоит посетить? Детальный разбор нескольких подходов к реализации векторного индекса в YDB, включая неудачные попытки HNSW и Random projections. Актуально для эпохи AI и RAG-систем.

Анна Мавлютова «Дата Контракты - как создать продукт с нуля, изменив мышление всей компании»
Почему стоит посетить? Эксперт из Т-Банка раскроет полный цикл создания внутреннего продукта Data Contracts за год — от идеи до масштабирования на десятки команд, показав как технические решения (GitOps, policy-as-code), так и стратегии изменения корпоративной культуры.

Сергей Волков «Все еще ходите за метриками в BI? Как мы экспериментировали с LLM и не пRAGадали»
Почему стоит посетить? Команда Сбера с масштабом 6 млрд событий в день покажет реальное решение проблемы поиска нужных метрик среди тысяч дашбордов через LLM-агентов — от концепции до внедрения в корпоративный мессенджер с GigaChat. Вы узнаете практические подходы к автоматизации работы с BI-системами и получите готовые решения для ускорения аналитической работы, которые можно адаптировать под свои задачи.

Александр Бергер «Data Quality как distributed-система: алерты, аномалии и автоматизация»
Почему стоит посетить? Современный подход к DQ с использованием LLM для автогенерации проверок и практические решения для enterprise-масштаба.

Алексей Захожий «Как мы решардим петабайтные кликхаузы в MyTracker: удаляй и властвуй»
Почему стоит посетить? Уникальная техника решардинга через DELETE вместо традиционного INSERT INTO SELECT. Опыт работы с десятками петабайт данных и неожиданное применение сэмплирования ClickHouse.

Поделитесь своей подборкой докладов, которых ждёте больше всего ❤️‍🔥

📎 Изучить полную программу конференции
🤍 Приобрести билеты на мероприятие
6🔥4❤‍🔥1
Глубина, недоступная на бизнес-ориентированных конференциях

В рамках секции “Системы хранения” ведущие эксперты из топовых IT-компаний поделятся реальными кейсами и подробно расскажут о самых эффективных подходах. Технический уровень докладов и их практическая польза изменят ваш взгляд на работу с системами хранения.

Константин Дорошенко “Доставка данных для ML в Kubernetes: от S3 до распределенных проектных хранилищ”

Доклад для тех, кто интересуется распределенным машинным обучением. Чтобы дорогие GPU не простаивали, Константин с командой придумали планировщик задач и слои кеширования в сторадже, которые позволяют им согласовать подготовку данных и запуск задач на обучение.

Дмитрий Листвин “Вы строите Lakehouse, а сторадж строит вам проблемы”

Честный отчет о том, как выжить и масштабироваться, когда сторадж стал узким горлышком всей аналитической платформы.

Концентрированный опыт и знания о том, как извлечь максимум производительности из Ceph и на практике добиться высокой пропускной способности HDD. Будет полезно тем, кто уже пользуется Ceph, и тем, кто только выбирает реализацию для S3.

Константин Неумоин “CSI-драйверы: подводные камни и архитектурные решения”

Этот доклад подойдет для тех, кто хочет понять, как CSI-драйверы влияют на стабильность PVC и монтирование томов. Константин поделится опытом разработки драйвера csi-scsi-generic, подходом к архитектуре драйвера, универсальность и расширяемость. А также проблемами, которые решала его команда: resize, multipath, очистка устройств.

📎 Изучить полную программу конференции
🤍 Приобрести билеты на мероприятие
🔥42👌1
Последнее повышение цен на билеты

Уже 23 сентября пройдёт профессиональная конференция по инженерии данных, базам данных и системам хранения
и обработки данных Data Internals X. Это не просто “профессиональный движ”, это по-настоящему хардкорная конференция, которая усилит ваши скиллы и даст ответ на большинство рабочих вопросов:

🎯 Глубина технических решений
Программа фокусируется на внутренних механизмах работы с данными — от разработки СУБД до оптимизации запросов и устойчивости к высоким нагрузкам. Это редкая возможность погрузиться в технические детали, которые обычно остаются за кадром.
🏭 Практический опыт масштабирования
Все доклады основаны на реальном опыте работы с петабайтными данными, высоконагруженными системами и решением production-задач в крупных компаниях (Яндекс, Сбер, VK, Т-Банк).
🔧 Импортозамещение и Open Source
Особый акцент на отечественные решения и open-source технологии, что критически важно в текущих реалиях.
🧠 Концентрированный опыт
30+ докладов за один день — максимальная плотность экспертных знаний и нетворкинга с 300+ участниками.

🤍 Приобрести билеты на мероприятие по выгодной цене можно до 31 августа (включительно)
1👍1🔥1
Мы начинаем работу над новым продуктом 🔥

В связи с этим приглашаем вас принять участие в опросе, который поможет нам лучше понять ваши потребности и сделать действительно нужный продукт для вас и про вас.

Для участия достаточно перейти по ссылке ниже и заполнить опрос (время заполнения 1-3 минуты)
🔗 https://anketolog.ru/rs/955741/ZAKMeTOs

Спасибо за ваше участие!
👍21
Как управлять масштабной инфраструктурой из 15 000 инстансов баз данных для 100 инженеров проектов? 🤔

В своей статье Tech Lead of DBA Core RnD компании Wildberries Андрей Аксенов делится опытом автоматизации раскатки, настройки и жизненного цикла БД с помощью Ansible, Tarantool и продуманной архитектуры.

Узнайте, как команда построила удобный конвейер с изолированными переменными, уменьшила порог входа для инженеров, внедрила систему тестирования ролей и настроила Cicd для надёжности и масштабируемости. Если вы работаете с большими инфраструктурами и стремитесь снизить когнитивную нагрузку команды, этот кейс станет отличным примером для вдохновения и практических идей!
2🔥2👍1
Data Internals X 2025 — это инвестиция в ваше техническое развитие и решение завтрашних проблем уже сегодня

Доклады, отобранные в программу, только подтверждают этот тезис. Каждое выступление наполнено техническими деталями, которые обычно остаются за кадром, а каждый спикер — настоящий эксперт в своей нише. Сегодня хотим поделиться анонсом сразу 9 докладов секции "Разработка СУБД".

Виталий Исаев «Многопоточное и/или консистентное чтение из реляционных источников данных в федеративных системах»
Будет полезно всем, кому интересно внутреннее устройство федеративных СУБД и движков обработки федеративных запросов, а также проблематика консолидации данных из разных источников.

Максим Маевский «DuckDB для работы с графами: форматы хранения графа в S3, расширение GraphAr и опыт разработки»
Будет полезно разработчикам ПО и аналитикам данных.

Дмитрий Попатов «Балансировка данных на кластерах OpenSearch: покоординатный спуск»
Будет полезно бэкенд-разработчикам, разработчикам баз данных и им сочувствующим.

Андрей Бородин «Managed Sharded PostgreSQL Service в Яндекс Облаке»
Будет полезно разработчикам и пользователям баз данных.

Алексей Лукьянчиков «Оптимальное вычисление выражений в аналитических запросах с использованием SIMD и JIT»
Будет полезно разработчикам движков SQL

Александр Календарев «Citus изнутри: как устроен шардинг»
Будет полезно архитекторам БД, администраторам PostgreSQL, программистам.

Дмитрий Еманов «Технология многоуровневого инкрементального резервирования и ее интеграция с ядром СУБД»
Будет полезно разработчикам СУБД, администраторам и пользователям СУБД, бэкенд-разработчикам.

Александр Зевайкин «Векторный поиск в YDB: опыт выбора и реализации»
Будет полезно разработчикам, лидам разработки, техническим менеджерам. Всем, кто решал, решает или интересуется задачами машинного обучения и построения больших распределенных баз данных.

Александра Латышева «Балансировка по нагрузке в динтаблицах YTsaurus»
Будет полезно разработчикам распределенных СУБД и продвинутым пользователям, которые сталкиваются с задачей утилизации железа в распределенных СУБД.

📎 Изучить полную программу конференции
🤍 Приобрести билеты на мероприятие
4🔥4🎉3
Онлайн или оффлайн, вот в чем вопрос? 🤔

🧡Для любителей живого общения, нетворкинга и движа личное участие в конференции будет лучшим решением. Вы сможете не только набраться знаний, но и получите возможность обзавестись знакомствами и подзарядиться энергией.

💜Для тех, кто не сможет приехать в Москву в эти даты, предлагаем присмотреться к онлайн-билету. Вы также получите новые знания и сможете задать все свои вопросы спикеру, но при этом вам даже не нужно вставать с кровати и выходить из дома.

📎 Ознакомиться с полной программой
💬 Приобрести билеты
5🔥2❤‍🔥1