Data Internals – Telegram
Data Internals
226 subscribers
78 photos
16 videos
1 file
72 links
Канал профессиональной конференции по инженерии данных, базам данных, системам хранения и обработки данных

Сайт: datainternals.ru
Чат: t.me/dataengineershub
Download Telegram
Уже через 6 дней встреча с программным комитетом Data Internals X 2025⚡️

Если вы хотите стать спикером и поделиться своей экспертизой и опытом с аудиторией - обязательно присоединяйтесь к онлайн-встрече докладчиков и программного комитета!

Когда - 17 апреля
Во сколько - 18:00
Где - онлайн в Zoom

Актуальные темы, которые мы планируем затронуть на конференции:

🟢Разработка СУБД и инструментов работы с данными
🟢Архитектура данных
🟢Практические примеры внедрений
🟢Управление данными
🟢Машинное обучение и искусственный интеллект

На мероприятии обсудим все вопросы и сомнения, а также поможем подобрать и сформулировать тему доклада.

Традиционно поговорим о процессе подготовки к конференции, об общей концепции и расскажем об организационных моментах🖇️

Для участия необходима предварительная регистрация🔗

Ждем вас 17 апреля в 18:00!
Please open Telegram to view this post
VIEW IN TELEGRAM
4👏3🔥2👍1
Для кого-то ретро — скукота и потеря времени, для кого-то — кошмар и мучение, а для кого-то — настоящее спасение, которое помогает решать реальные проблемы📃

Как добиться необходимого эффекта, а не тратить время впустую и не мучить уставшую после спринта команду? У проектного менеджера и скрам-мастера из Окко Анастасии Соловицкой есть метод из шести этапов, опробованный на себе и командах уже более 100 раз. Возможно, вы тоже сможете взять что-то из её опыта для себя.

👉🏻 Подробности в статье

Обязательно сохраняйте себе, чтобы прочитать, когда будет удобно🖇️
3👍3🔥3
Сегодня хотим поделиться историей выбора пути⭐️

Найти своё очень непросто, и у многих людей на это уходят годы. А чтобы за время поиска жить и кушать, приходится кем-то работать. И не всегда это как-то связано с настоящим путем. Арина Шахтарина, Data Quality-инженер: в Сбере, когда-то была юристом, проверяла завещания и готовила доверенности, а теперь проверяет витрины данных, ищет дубли и считает доходность по инвестиционным инструментам. Так что это история о том, как любовь к данным и таблицам превратилась в новую профессию. О карьерных поворотах, боли с форматами данных. И ещё про SQL — лучший универсальный язык после русского👇

Читать статью здесь

❤️ - спасибо, было интересно
👍🏻 - сохранил себе, прочитаю позже
👌🏻 - напишу свое мнение в комментах
Please open Telegram to view this post
VIEW IN TELEGRAM
👍65👏4👌2
Уже завтра состоится встреча с ПК Data Internals🔥

⚫️Когда - 17 апреля
⚫️Во сколько - 18:00
⚫️Где - онлайн в Zoom
⚫️Для кого - для всех, кто хочет выступить на Data Internals X 2025

Вы узнаете, какие темы будут актуальны на конференции, что для нас важно при отборе заявок в программу и как проходит подготовка спикеров перед выступлением.

А также вы сможете задать свои вопросы комитету, в том числе по поводу ваших идей и предложений тем выступлений.

Для участия необходимо зарегистрироваться!

Ждем всех завтра, 17 апреля, в 18:00
Please open Telegram to view this post
VIEW IN TELEGRAM
5👍5👌3
У нас прошла встреча докладчиков с ПК Data Internals!

Вчера, 17 апреля, состоялась онлайн-встреча активистов программного комитета и потенциальных спикеров. Обсудили организационные моменты, помогли всем окончательно определиться с темой доклада и закрыли все сомнения.

Если у вас не получилось подключиться - ничего страшного. Прикрепляем запись, чтобы вы смогли посмотреть ее сейчас👇

Видео здесь

Также напоминаем, что у нас идет прием докладов на Data Internals X 2025! Если вам есть, чем поделиться с сообществом профессионалов, обязательно подавайте заявку👁️‍🗨️

Ждем ваших докладов и до встречи 23 сентября в Москве!
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6🔥52
В эпоху больших данных и возрастающих вычислительных нагрузок производительность Spark-приложений становится критически важной для бизнеса🔗

Data Engineer команды Голосовой Антифрод в билайн Александр Маркачев поделится опытом оптимизации Spark-кода на реальных задачах: расскажет, как с помощью ручного и автоматического репартицирования ускорить обработку данных, как правильно настраивать оконные функции и запускать множество небольших Spark-приложений внутри одного процесса для экономии ресурсов. Все техники сопровождаются объяснениями, примерами и рекомендациями для самостоятельного повторения.

👉Подробности в статье

Сохраняйте себе, чтобы прочитать, когда будет удобно🖇️
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3
Как Netflix угадывает ваши желания? Почему Starbucks открывает новые точки именно там, где надо, а российские IT-гиганты строят сервисы, опережая конкурентов?🤔

Всё это возможно благодаря Data-Driven подходу, который позволяет принимать решения на основе данных, а не интуиции. Но чтобы этот подход действительно работал, важно понимать, какие метрики реально важны, как не утонуть в данных и не потратить лишнего на хранение, а что делать c «грязными» данными. Об этом и многом другом на примере реальных кейсов расскажет руководитель направления в KION и член программного комитета конференции Data Internals Алексей Жиряков

👉Читать статью здесь

Ставьте ❤️, если было полезно
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍2
Конференция, которую нельзя пропустить Data-инженерам🔥

23 сентября в Москве пройдет Data Internals X 2025 - профессиональная конференция по инженерии данных, базам данных и системам хранения и обработки данных.

Что ждет участников на площадке?
👉Доклады, подготовленные по высоким стандартам наших привычных конференций: HighLoad++, TeamLead, DevOps Conf и других.
👉Общение со спикерами
👉Плодотворный нетворкинг
👉Кофе-брейки и обеды

Ключевые темы конференции:
🟣Разработка СУБД и инструментов работы с данными
🟣Архитектура данных
🟣Управление данными
🟣Практические примеры внедрений
🟣Машинное обучение и искусственный интеллект
🟣И другие темы, связанные с процессами работы с данными

❗️Сейчас у вас есть возможность купить билет по минимальной стоимости — чем ближе конференция, тем выше будет цена. Первое повышение уже с 1 июня. Вы можете забронировать билет заранее, а оплатить в течение нескольких дней.

Увидимся 23 сентября в Москве на Data Internals X 2025!

✔️ Узнать подробнее о конференции и забронировать билет можно на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
1
Data Internals pinned «Конференция, которую нельзя пропустить Data-инженерам🔥 23 сентября в Москве пройдет Data Internals X 2025 - профессиональная конференция по инженерии данных, базам данных и системам хранения и обработки данных. Что ждет участников на площадке? 👉Доклады,…»
За счет правильных, даже необязательно новых, а просто верно выбранных архитектурных подходов можно заставить работать не один конкретный запрос, а тысячу или даже  миллион.

Это становится краеугольным камнем, потому что объемы данных растут с такой скоростью, которую мы даже представить себе не могли еще пять лет назад. Так считает наш сегодняшний гость — Дмитрий Немчин, руководитель направления эксплуатации инфраструктуры данных в Т-Банке и по совместительству член программного комитета Data Internals.

О том, как решать проблемы, связанные с ростом объемов данных и необходимостью управления ресурсами, и как дата-инженеру остаться востребованным Дмитрий рассказал в этом интервью
👍3
Самые полезные материалы в одном месте

Качественная аналитика требует не только навыков, но и правильных источников знаний. Мы собрали материалы, которые станут вашим секретным инструментом — от базовых принципов до продвинутых техник. Готовы раскрыть потенциал данных? Тогда переходите по ссылкам ниже👇🏻

👉Проблемы БД или почему большой продакшн спасут только массовые расстрелы запросов

👉Data-Driven: от интуиции к фактам, и при чем тут data internals?

👉Как мигрировать с OpenShift на любой дистрибутив Kubernetes без единой правки

👉Как я оставила печати и взяла SQL: путь к Data Quality

👉Эволюция Redis в Valkey 8.0: разбираем архитектурные изменения с точки зрения производительности

👉Как мы заменили сотни Join’ов на один РТ-процессинг с 1kk RPS

Обязательно сохраняйте себе подборку и ставьте любую реакцию, если было полезно!
🔥31
Как связаны скидки, пользовательский путь и петабайты данных в Яндекс Рекламе?

Ответ в этой статье 🔥

Автор материала Максим Стаценко работает в Яндексе в DWH поиска и рекламы. В статье он подробно рассказывает о том, как они смогли отказаться от сотен тяжёлых Joinов и Mapreduce в пользу Stateful Streaming и Key-value Storage. И делится опытом построения системы, которая обрабатывает миллион запросов в секунду, хранит всю историю событий в одном месте и позволяет быстро находить нужные данные для антифрода и аналитики (даже когда цепочка событий растягивается на 100 дней).
2👍2
Кто стоит за программой Data Internals Conf X?

Конечно же, Программный комитет 👀

В ПК Data Internals Conf X мы пригласили не просто теоретиков, а практиков с «петабайтным» опытом. Именно эти люди отбирают самые лучшие доклады и готовят действительно актуальную, полезную и захватывающую программу.

Оставляйте любую реакцию, а мы расскажем про остальных членов ПК в следующих постах 🤍
4👍3🔥1