Data Internals – Telegram
Data Internals
226 subscribers
78 photos
16 videos
1 file
72 links
Канал профессиональной конференции по инженерии данных, базам данных, системам хранения и обработки данных

Сайт: datainternals.ru
Чат: t.me/dataengineershub
Download Telegram
Media is too big
VIEW IN TELEGRAM
Что интересного на конференции кроме докладов? 👀

Помимо насыщенной программы, Data Internals Conf X, как и все Х конференции, отличается большими возможностями для нетворкинга и особенной ламповой атмосферой.

Но лучше один раз увидеть как проходят мероприятия Онтико, чем сто раз об этом прочитать. Делимся атмосферным видео с другой X конференции — AiConf ❤️‍🔥

Купить билет на конференцию до повышения цен 👈
🔥31
Как настроить ClickHouse для высокопроизводительной BI отчётности? 👀

Вопрос, на который у нас уже есть ответ!

Аналитик данных Lenta Tech Михаил Кацуба поделится реальным опытом своей команды и расскажет о том, как они переводили тяжёлую отчётность с модели импорта Power BI на прямые запросы DataLens + ClickHouse.

После ухода Power BI столкнулись с тем, что пока нет хороших решений, где можно просто загрузить данные в систему отчётности и отчёт будет работать на мощном облачном сервере более-менее терпимо, даже при объёме данный в миллиарды строк <...> В итоге разобрались как настраивать ClickHouse для высокопроизводительной BI отчётности и готовы поделиться опытом

Подробнее ознакомиться с тезисами Михаила можно здесь
🔥4👍3
До повышения цены осталось 3 дня

Вы можете приобрести билет прямо сейчас, а можете просто зафиксировать текущую цену, если забронируете билет до 30 июня. После брони оплатить можно будет в течение нескольких дней.

Хорошая возможность для тех, кто хочет ознакомиться с полной программой Data Internals Conf X перед покупкой.

Изучить расписание и приобрести билеты можно на нашем сайте
👍32
Как подготовить платформу данных к миграции уже сейчас?

Своим опытом решения проблем и готовым планом действий поделится Владислав Заболоцкий из Райффайзен Банк, дата-инженер в команде AI Assistants, ранее SAS разработчик и системный аналитик.

С чего начать миграцию? Как подготовить большую платформу к этому процессу? Какими способами решать проблемы сотсутствия информации о владении объектов, отключения неактуальных процессов, расхождения расчетов и т.д.?

Узнать ответы на все эти вопросы вы сможете 23 сентября на Data Internals Conf X

Полная программа конференции и расписание на нашем сайте
🔥32
Конференция, на которую нужно прийти Data Engineers🔥
А также разработчикам СУБД, архитекторам высоконагруженных систем, системным программистам и DBA с техническим уклоном

23 сентября в Москве пройдет Data Internals X 2025 — единственная в России конференция, где создатели СУБД и движков обработки данных делятся опытом работы с реальными production-системами экстремального масштаба. Вас ждёт по-настоящему "хардкорная" программа.

🎯 Глубина технических решений
Программа конференции сфокусирована на внутренних механизмах работы с данными — от разработки СУБД до оптимизации запросов и устойчивости к высоким нагрузкам. Это редкая возможность погрузиться в технические детали, которые обычно остаются за кадром.

🏭 Практический опыт масштабирования
Все доклады основаны на реальном опыте работы с петабайтными данными, высоконагруженными системами и решением production-задач в крупных компаниях (Яндекс, Сбер, VK, Т-Банк).

🔧 Импортозамещение и Open Source
Особый акцент на отечественные решения и open-source технологии, что критически важно в текущих реалиях.

🧠 Концентрированный опыт
Максимум пользы для повышения квалификации за один день: 30+ докладов, рекордная плотность экспертных знаний и нетворкинг с 300+ участниками.

❗️Сейчас у вас есть возможность купить билет по выгодной цене. Следующее повышение стоимости билета уже 1 августа. Вы можете забронировать билет заранее, а оплатить в течение нескольких дней.

Увидимся 23 сентября в Москве на Data Internals X 2025!
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥2👍1
Кто расскажет вам о конференциях Онтико лучше и правдивее, чем коллеги по цеху?

Участник HighLoad++ Илья Левченко о пользе конференций и нетворкинга:

Если ты хочешь быть круче остальных, если ты хочешь быть умнее остальных, если ты хочешь следить за новинками, если ты хочешь просто вливаться в IT-индустрию, ты должен, обязан знать остальных крутых спикеров и людей. Ты должен с ними общаться, забирать от них энергию. <...> участвовать в таких форматах, где участвует куча таких же специалистов, как ты, вы обмениваетесь опытом и все вместе растете
3👍2
This media is not supported in your browser
VIEW IN TELEGRAM
🔥5❤‍🔥3
«Как мы решардим петабайтные кликхаузы в MyTracker: удаляй и властвуй»
Медленные процессы решардинга при работе с большими данными, высокие затраты ресурсов на перенос петабайтных объемов и приостановка работы сервисов во время миграции данных...

На докладе Алексея Захожего вы сможете не только услышать экспертное мнение об этих проблемах, но и получить готовую инструкцию по их устранению:

- Уникальное решение для работы с экстремальными объемами данных — десятки петабайт
- Неожиданная техника решардинга через DELETE вместо традиционных подходов
- Готовые алгоритмы и практические подходы для масштабирования ClickHouse без остановки сервиса

Подробнее о программе конференции и спикерах можно узнать на нашем сайте

Подписывайтесь
💬@dataconference
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥3👍3
Data Internals X будет только через 2 месяца, но делиться полезными материалами мы хотим уже сейчас

Предлагаем провести вам 40 минут с максимальной пользой и посмотреть видео доклада Максима Чудновского "Как мигрировать тысячи сервисов между любыми дистрибутивами Kubernetes?" с Saint HighLoad++ 2024

После ухода ряда известных вендоров у многих возникла задача миграции между платформами контейнеризации в рамках импортозамещения. В выступлении Максим поделился опытом решения этой задачи и рассказал, как свести к минимуму зависимости приложений от конкретной версии и/или реализации Kubernetes.

Подписывайтесь
💬@dataconference
📱 Data Internals
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥32
Теперь векторный поиск доступен для всех
Яндекс запустил векторный поиск в новой версии YDB

Теперь в СУБД есть две версии векторного поиска — точный и приближённый. Приближённый поиск может работать с миллиардами векторов, если использовать векторный индекс. Такая технология есть у небольшого количества технологических компаний в мире.

В этой статье Александр Зевайкин из YDB рассказал про векторный поиск, индекс, RAG и о том, как эти технологии применяются в Алисе.

А для тех, кто хочет погрузиться в тему еще глубже, Александр выступит на Data Internals X с докладом "Как мы выбирали реализацию векторного индекса YDB"
🔥52
Розыгрыш онлайн-билета на Data Internals X

Data Internals X — профессиональная конференция по инженерии данных, базам данных и системам хранения и обработки данных. Хардкорное мероприятие с акцентом на технических инсайтах от создателей СУБД, практических решениях, оптимизации на уровне железа и реальном опыте импортозамещения.

Для участия в розыгрыше нужно выполнить всего два простых условия:

1) Быть подписанным на наш канал @dataconference
2) Поставить в комментарии к этому посту «+» как подтверждение участия

5 августа мы выберем победителя рандомным способом

Счастливчику будут доступны все опции онлайн-участия:

✦ Все презентации спикеров
✦ Видеозаписи всех докладов
✦ Прямая трансляция всех докладов в день конференции
✦ Вопросы к спикерам в telegram-чате

Участвуйте в розыгрыше и приглашайте друзей!

Подробности о конференции на сайте
🔥72
Как съездить на конференцию за счёт своей компании?

В вашем профессиональном развитии заинтересованы не только вы, но и ваш работодатель. Чтобы получить компенсацию за участие в профессиональной конференции, вам нужно лишь тактично и аргументированно поговорить об этом с руководством.

А для того, чтобы сделать это было легче, мы подготовили чек-лист “Как получить одобрение компании и компенсацию стоимости на участие в конференции Data Internals X”.

Подписывайтесь
💬@dataconference
📱 Data Internals
🔥42
Друзья, загибайте пальцы!
С чем из нижеперечисленного вам приходилось сталкиваться в работе?

Ручной контроль качества данных, реактивный подход к проблемам с данными, отсутствие автоматизации проверок и алертов... Если вам не понаслышке знакомо хотя бы одно из этих препятствий, тогда приглашаем вас на доклад Александра Бергера “Data Quality как distributed-система: алерты, аномалии и автоматизация”

Во время выступления Александра вы получите:
- знания о современных подходах к контролю качества данных с использованием LLM для автогенерации проверок
- готовые решения для enterprise-масштаба: автоматические алерты, системы карантина данных, интеграцию с ML для детекции аномалий
- архитектуру системы, которая экономит 80% времени на управление качеством данных. Data Quality как distributed-система: алерты, аномалии и автоматизация

📌 Подробнее ознакомиться с программой и приобрести билет на конференцию
6👍2
YTsaurus SPYT: внедряем Spark SQL в массы

Убедитесь в качестве наших докладов! Делимся записью лекции спикера Saint HighLoad++ 2024 Алексея Шишкина о том, как сделать собственный клиент к Spark и на уровне сетевого протокола отправлять к нему запросы из удобного веб-интерфейса.

... иногда хочется оперативно выполнить SELECT на пару строчек, проверив гипотезу, и продолжить заниматься своими делами. Именно для этой цели в YTsaurus развивается модуль Query Tracker, позволяющий прямо в браузере запускать SQL-like-запросы на разных движках: полноценном MapReduce, Clickhouse или Spark


Подписывайтесь
📱 @dataconference
📱 Data Internals
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2👍1
Спикер Saint TeamLead Conf и TeamLead Conf++ Владимир Лещенко о конференциях Онтико:

«...это одно из важнейших направлений развития — посещение таких конференций.

Первое это нетворкинг. Нигде, ни в какой точке, если это не Москва-Сити, мы не увидим такую концентрацию разных компаний, разных специалистов. Второе это безусловно интереснейшие доклады на все темы: на разные темы с разным углублением, с разной сложностью, с разным ракурсом. И третье это некий такой трек, это же серия конференций <...> как сериал, хороший сериал, в котором участники участвуют сами»
👍32
This media is not supported in your browser
VIEW IN TELEGRAM
👍2🔥2
До повышения цены осталось 3 дня

До конференции осталось чуть меньше 2 месяцев. В августе стоимость билетов станет выше, но всё остальное останется неизменным: всего за 1 день на Data Internals Х вы получите экспертные знания по архитектуре современных СУБД, методам оптимизации систем обработки петабайтных данных, опыту внедрения Data Governance в крупных российских компаниях. А также сможете изучить отраслевую экспертизу (финтех, ретейл, телеком, госсектор), практики миграции на отечественные решения и кейсы построения высоконагруженных аналитических платформ

Вы можете приобрести билет прямо сейчас, а можете зафиксировать текущую цену, если забронируете билет до 31 июля. После брони у вас будет ещё несколько дней на принятие окончательного решения и оплату.

Хорошая возможность для тех, кто хочет ознакомиться с полной программой Data Internals Conf X перед покупкой.

Изучить расписание и приобрести билеты можно на нашем сайте
2👍1
Возможно ли за одну лекцию перенять опыт по масштабу 6 млрд событий в день?

Да

На докладе Сергея Волкова из Сбера «Все еще ходите за метриками в BI? Как мы экспериментировали с LLM и не пRAGадали».

Помимо опыта и действительно интересного доклада, вы получите готовое решение для автоматизации работы с BI-системами через LLM-агентов. А также узнаете практические подходы к интеграции GigaChat с корпоративными мессенджерами для поиска метрик 🤝🏻

Изучить полную программу конференции и приобрести билеты

Подписывайтесь
📱 @datainternals
📱 Data Internals X
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍1
Ключевые преимущества Data Internals Х 👀

Создавая программу, мы не пытались пройтись "широкими мазками" по общим трендам и темам. Программа конференции разрабатывалась специально для специалистов, которые хотят понять, как работают данные на самом низком уровне и получить конкретные решения для масштабирования систем до петабайтных объемов.

Наши спикеры говорят не об академическом подходе и теории, а о реальных кейсах и методах, которые проверены лично ими.

Подробнее о программе конференции и спикерах можно узнать на нашем сайте
4🔥3