🎤 Друзья, приходите на следующие доклады, которые начинаются в 12:20:
🔴 «Зал №1 Башня»: Архитектура сбора продакшн-трафика для нагрузочного тестирования: 10 000 микросервисов и 30 млрд запросов в Ozon. Евгений Кузышин (Ozon)
Как собрать трафик в реальном времени с 10 000 микросервисов в Ozon для ежедневных нагрузочных тестов, превращая 30 млрд запросов в супероружие для проверки системы. Докладчик поделится практическими решениями и реальными инсайтами по организации масштабируемой системы сбора трафика.
🔴 «Зал 02 / Зелёный»: Spark: один для всего? Искандер Фахрутдинов (Ozon)
Спикер много лет изучал исходный код Spark и поделится своим мнением о подходах, которые лежат в основе модели вычислений платформы. Он расскажет о том, как понимание единой модели вычислений Spark позволяет писать запросы лучше и о том, что предлагают смежные фреймворки.
🔴 «Зал 03 / Розовый»: Как мы в МТС создали единый экосистемный профиль клиента. Евгений Ненахов (MWS (МТС Web Services))
Как объединить разрозненные данные клиентов экосистемы? МТС Big Data агрегирует операционные, аналитические и прогнозные данные в единый профиль. Доклад раскроет структуру его бизнес-модулей, стек технологий и инфраструктуру. А еще будет демо — что на самом деле МТС знает про своих клиентов.
🔴 «Зал 04 / Синий»: Склад Шредингера: как с помощью компьютерного зрения сократить инцидентность на больших складах логистического оператора. Михаил Красильников (BIA-Technologies)
В докладе пойдет речь об оптимизации затрат на складах с использованием ML. В частности, докладчик расскажет про нюансы обучения моделей и о реальном применении детекторов обнаружения аномального поведения на складах, а также о том, как это помогает экономить большие бюджеты на этапе логистики.
🔴 «Зал 05 / Красный»: Инфраструктурный провайдер для Cluster API: с нуля до open source. Василий Димов (Т-Банк)
Казалось бы, история разработки еще одного open source-продукта для инфраструктуры. Но тут еще и обоснование архитектурных решений с обзором альтернативных решений Cluster API на основе платформ крупнейших гиперскейлеров, и собственная экспертиза работы с Yandex Cloud. Все в одном флаконе.
🔴 «Зал 06 / Оранжевый шатер»: Автоматическая суммаризация 10K встреч в день: от требований к продакшн-решению. Азер Шахвердиев (Контур)
Из доклада вы узнаете, как реализуется одна из фич, значительно упрощающих жизнь сотрудников, про ее архитектуру, с фокусом на ML-составляющие и ее интеграцию в большой прод.
🔴 «Зал 07 / Голубой шатер»: Пределы масштабирования дисковой СУБД Сокол. Андрей Коротченко (РЕЛЭКС)
Из доклада вы узнаете, как дисковая СУБД Сокол, реализованная на неблокирующих подходах, справляется с высокими нагрузками и масштабированием. А также сравните ее возможности с другими системами
🔴 «Зал 08 / Фиолетовый шатер»: 20 лет на граблях: ошибки, отказы и выводы. Александр Стерлигов (MWS (МТС Web Services))
Спикер с большим опытом работы в ИТ. В докладе 4 ситуации, с которыми он столкнулся по ходу своей карьеры. Fail-митап, превращенный в полноценный доклад с историями, которые кажутся шутками, но это реальность.
Как собрать трафик в реальном времени с 10 000 микросервисов в Ozon для ежедневных нагрузочных тестов, превращая 30 млрд запросов в супероружие для проверки системы. Докладчик поделится практическими решениями и реальными инсайтами по организации масштабируемой системы сбора трафика.
Спикер много лет изучал исходный код Spark и поделится своим мнением о подходах, которые лежат в основе модели вычислений платформы. Он расскажет о том, как понимание единой модели вычислений Spark позволяет писать запросы лучше и о том, что предлагают смежные фреймворки.
Как объединить разрозненные данные клиентов экосистемы? МТС Big Data агрегирует операционные, аналитические и прогнозные данные в единый профиль. Доклад раскроет структуру его бизнес-модулей, стек технологий и инфраструктуру. А еще будет демо — что на самом деле МТС знает про своих клиентов.
В докладе пойдет речь об оптимизации затрат на складах с использованием ML. В частности, докладчик расскажет про нюансы обучения моделей и о реальном применении детекторов обнаружения аномального поведения на складах, а также о том, как это помогает экономить большие бюджеты на этапе логистики.
Казалось бы, история разработки еще одного open source-продукта для инфраструктуры. Но тут еще и обоснование архитектурных решений с обзором альтернативных решений Cluster API на основе платформ крупнейших гиперскейлеров, и собственная экспертиза работы с Yandex Cloud. Все в одном флаконе.
Из доклада вы узнаете, как реализуется одна из фич, значительно упрощающих жизнь сотрудников, про ее архитектуру, с фокусом на ML-составляющие и ее интеграцию в большой прод.
Из доклада вы узнаете, как дисковая СУБД Сокол, реализованная на неблокирующих подходах, справляется с высокими нагрузками и масштабированием. А также сравните ее возможности с другими системами
Спикер с большим опытом работы в ИТ. В докладе 4 ситуации, с которыми он столкнулся по ходу своей карьеры. Fail-митап, превращенный в полноценный доклад с историями, которые кажутся шутками, но это реальность.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2
🎤 Анонс докладов, которые стартуют в 13:30
🔴 «Зал №1 Башня»: Как правильно готовить RabbitMQ — 8 практических кейсов. Виктор Михайлов (Garage Eight)
Глубокое погружение в мир RabbitMQ. Разберем практические кейсы конфигурирования, поудивляемся, поспорим, а может, и похоливарим.
🔴 «Зал 02 / Зелёный»: «Ручная» векторизация в 2025 году: когда компилятора недостаточно. Валерия Пузикова (YADRO)
Популярные фреймворки для AI/ML, такие как Tensorflow и PyTorch, построены на фундаменте высокопроизводительного математического бэкенда. Это доклад о векторных расширениях современных архитектур RISC-V RVV и Arm NEON и о том, как удалось добавить поддержку RVV в Eigen с минимальными затратами.
🔴 «Зал 03 / Розовый»: Тысячи асинхронных задач в секунду в облачных s3 на Rust/Axum/Tokio — шлифуем ржавчину до блеска. Александр Сербул (Битрикс24)
Интересное пересечение двух тем — Rust и параллельной работы c разными облачными хранилищами в условиях «догоняющей» консистентности. Узнаем, какие тонкости нас ждут, как можно добиваться значительного рейта команд к S3 максимально дешево и как при этом нарастить экспертизу в инструменте.
🔴 «Зал 04 / Синий»: Как мы создали свое аппаратное решение для измерения габаритов и веса товара с помощью нейросетей и стереокамер. Мария Гафурова (Ozon)
Хотите узнать о подходах к автоматическому измерению товаров по снимку с камер в промышленном объеме? Приходите послушать доклад, в котором узнаете нюансы обучения ML-моделей для точного измерения товаров от маленькой булавки до большой техники.
🔴 «Зал 05 / Красный»: 10k метрик, 500 A/B-экспериментов и 500kk p-value каждый день. Как это возможно? Данила Леньков (Авито)
Насыщенная личным опытом история развития внутреннего проекта, масштабирования его функциональности на большую компанию и подготовка к созданию продукта. В докладе присутствует фокус на архитектуру и оптимизацию.
🔴 «Зал 06 / Оранжевый шатер»: Переезд в облако рекламного движка с baremetal под высокой нагрузкой. Артем Букин (VK, VK Реклама)
На предыдущих конференциях спикер рассказывал про оптимизации и внутреннее устройство рекламной системы VK, позволяющей ей держать действительно высокие нагрузки. В этом докладе он расскажет какие круги ада пришлось пройти, чтобы перенести настолько оптимизированную систему с baremetal в облако.
🔴 «Зал 07 / Голубой шатер»: JOIN'ы тормозят: почему Spark и Trino не заменят ваш DWH? Алексей Дмитриев (Яндекс)
Вы знаете, что такое Top-down и Bottom-up? А DPCCP и DPHyp? А хотите узнать? Приходите на доклад Алексея, где, помимо прочего, мы сравним Trino, Spark, Greenplum и YDB!
🔴 «Зал 08 / Фиолетовый шатер»: SLI и SLO для бизнеса: как следить за качеством 200+ продуктов. Филипп Бочаров, Эдуард Степанянц (MWS (МТС Web Services))
Все ли хорошо у продукта? Мы укладываемся в SLO? Авторы доклада однозначно могут ответить на этот вопрос. В докладе вы услышите не только описание подхода к «дашбордам здоровья» продуктов, но и узнаете техническую реализацию.
Глубокое погружение в мир RabbitMQ. Разберем практические кейсы конфигурирования, поудивляемся, поспорим, а может, и похоливарим.
Популярные фреймворки для AI/ML, такие как Tensorflow и PyTorch, построены на фундаменте высокопроизводительного математического бэкенда. Это доклад о векторных расширениях современных архитектур RISC-V RVV и Arm NEON и о том, как удалось добавить поддержку RVV в Eigen с минимальными затратами.
Интересное пересечение двух тем — Rust и параллельной работы c разными облачными хранилищами в условиях «догоняющей» консистентности. Узнаем, какие тонкости нас ждут, как можно добиваться значительного рейта команд к S3 максимально дешево и как при этом нарастить экспертизу в инструменте.
Хотите узнать о подходах к автоматическому измерению товаров по снимку с камер в промышленном объеме? Приходите послушать доклад, в котором узнаете нюансы обучения ML-моделей для точного измерения товаров от маленькой булавки до большой техники.
Насыщенная личным опытом история развития внутреннего проекта, масштабирования его функциональности на большую компанию и подготовка к созданию продукта. В докладе присутствует фокус на архитектуру и оптимизацию.
На предыдущих конференциях спикер рассказывал про оптимизации и внутреннее устройство рекламной системы VK, позволяющей ей держать действительно высокие нагрузки. В этом докладе он расскажет какие круги ада пришлось пройти, чтобы перенести настолько оптимизированную систему с baremetal в облако.
Вы знаете, что такое Top-down и Bottom-up? А DPCCP и DPHyp? А хотите узнать? Приходите на доклад Алексея, где, помимо прочего, мы сравним Trino, Spark, Greenplum и YDB!
Все ли хорошо у продукта? Мы укладываемся в SLO? Авторы доклада однозначно могут ответить на этот вопрос. В докладе вы услышите не только описание подхода к «дашбордам здоровья» продуктов, но и узнаете техническую реализацию.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
Forwarded from Максим Цепков (Maxim Tsepkov)
#Highload Дмитрий Кривопальцев и Вадим Клеба. Как выбрать технологии для высоконагруженного проекта и не привлечь внимание санитаров. Доклад - обзор вопросов, которые надо решать при выборе технологий. Но по факту на все вопросы есть общий ответ: включить мозг, а не следовать за модой. А подробнее: (1) понимайте вашу задачу, (2) потребности бизнеса и (3) возможности вашей команды. Любая технология имеет плюсы и минусы, для разных задач подходит разное. И с любой технологией потмо долго жить, нужны люди, которые ей владеют. А теперь по содержанию детально.
Первое - язык. Тут в командах обоих докладчиков два языка, у одной - java + python, при чем на python ядро? а на java - высокопроизводительные конкретные сервисы, в другой java + Go, при этом java - основа, а go - для кусочков, которые общаются по http. B это иллюстрация к уместности языков для задач. При этом надо помнить, что быстрый язык сам по себе не дает производительности, производительность обеспечивается устройством кода. По умолчанию - используем что знаем. Но обязательно помните про команду - возможность изучения новых языков командой, возможность найма разработчиков, владеющих языком.
Второе - база данных. В 9 случаях из 10 подходит PostgreSQL. А в том одном случае - выбирайте по характеристикам, понимая зачем это нужно. Но помните про сопровождения, был кейс, когда выбрали Кассандру, она подходила идеально по характеристикам, но через два года выяснилось, что поддерживать некому, и лучше бы накостылили что-то на PostgreSQL.
Третье - кэш. Его часто включают по умолчанию, чтобы разгрузить базу данных. А есть куча историй, когда кэш просто замедляет и кушает ресурсы. Кэш несет много накладных расходов - инвалидация, устойчивость, сетевые вызовы. И даже когда важна скорость - есть альтернативные решения, например, вместо единого сервиса кэширования положить данные a файлик, который загружать в память на всех нодах - хорошо подходит, если данные редко меняются. Пример - кэширование стран по координатам, акции и скидки на главной странице сайта и тому подобное.
Первое - язык. Тут в командах обоих докладчиков два языка, у одной - java + python, при чем на python ядро? а на java - высокопроизводительные конкретные сервисы, в другой java + Go, при этом java - основа, а go - для кусочков, которые общаются по http. B это иллюстрация к уместности языков для задач. При этом надо помнить, что быстрый язык сам по себе не дает производительности, производительность обеспечивается устройством кода. По умолчанию - используем что знаем. Но обязательно помните про команду - возможность изучения новых языков командой, возможность найма разработчиков, владеющих языком.
Второе - база данных. В 9 случаях из 10 подходит PostgreSQL. А в том одном случае - выбирайте по характеристикам, понимая зачем это нужно. Но помните про сопровождения, был кейс, когда выбрали Кассандру, она подходила идеально по характеристикам, но через два года выяснилось, что поддерживать некому, и лучше бы накостылили что-то на PostgreSQL.
Третье - кэш. Его часто включают по умолчанию, чтобы разгрузить базу данных. А есть куча историй, когда кэш просто замедляет и кушает ресурсы. Кэш несет много накладных расходов - инвалидация, устойчивость, сетевые вызовы. И даже когда важна скорость - есть альтернативные решения, например, вместо единого сервиса кэширования положить данные a файлик, который загружать в память на всех нодах - хорошо подходит, если данные редко меняются. Пример - кэширование стран по координатам, акции и скидки на главной странице сайта и тому подобное.
❤2
Друзья, Фестивальная зона доступна без предъявления талона и не привязана к временным слотам, обязательно приходите сюда 🙌
#SaintHighLoad2025
#SaintHighLoad2025
🤩4🔥2
🎤 Приходите на следующие доклады, которые начинаются в 14:40
🔴 «Зал №1 Башня»: Как работает шардирование PG в процессинге Яндекс Такси. Игорь Березняк (Техплатформа Городских сервисов Яндекса)
В Яндексе традиционно многое «по-своему», но всегда интересно узнать про опыт шардирования больших подсистем с нуля. Интересное решение, обеспечивающее плавную миграцию данных между шардами без координатора и с минимальными блокировками.
🔴 «Зал 02 / Зелёный»: Портируем ML на RISC-V: как не потерять производительность. Ксения Зайцева (YADRO)
Второй год подряд Совет директоров международного консорциума RISC-V обозначает AI/ML в качестве главного приоритета для RISC-V. Это доклад о том, как библиотеки, например Eigen, не просто портируются, но и оптимизируются на новую архитектуру.
🔴 «Зал 03 / Розовый»: Миллион товаров, опыт один: используем коллаборативные и мультимодальные эмбеддинги для кластеризации. Олег Дурандин (Wildberries & Russ)
Доклад о том, как кластеризовать миллионы товаров на маркетплейсе с помощью коллаборативного подхода и мультимодальных эмбеддингов. Будет показан путь от бизнес-требований до продакшна: выбор подхода, метрики качества, подводные камни — и как это улучшило рекомендации.
🔴 «Зал 04 / Синий»: Исследовательское тестирование: как найти бэкапы, которые не восстановятся? Александр Фатин (Postgres Professional)
Мы все любим байки в стиле «Не ну, вы видели? Видели?!». В докладе Александра их будет целых 4!
🔴 «Зал 05 / Красный»: Как мы создавали единую платформу онлайн-тарификации. Назар Гельдыев (МТС)
Вот использовал ты систему, а ее из-под тебя выдернули. И со всем новым проблемы: люди, услуги, тарифы. Надо куда-то переезжать. А как не расплескать при переезде все ценное? Как, где и в каком количестве держать нагрузку? Как не слить все деньги и время на разработку при этом?
🔴 «Зал 06 / Оранжевый шатер»: Аналитика на больших графах в S3: инструменты, подходы и форматы для OLTP и OLAP. Алексей Теплов (Т-Банк)
Как эффективно анализировать большой граф, хранящийся в S3, запросами типа OLAP и OLTP? В докладе Алексей из R&D-центра Т‑Банка поделится опытом аналитики и подготовки фич для моделей из графа в DuckDB+DuckPGQ и сравнит преимущества форматов хранения Parquet+Iceberg и GraphAr от Alibaba.
🔴 «Зал 07 / Голубой шатер»: ClickHouse без боли. Наш опыт рефакторинга легаси-кластера и эффект внедрения шардгрупп. Михаил Филимонов (Magnit OMNI)
А вы знаете, как работать с большим кликом (50+ Тб)? Михаил точно знает! Зачем нужны шардгруппы и как их правильно готовить на живом кластере — пожалуй, главный take away этого доклада!
🔴 «Зал 08 / Фиолетовый шатер»: Четыре девятки хватит всем? Разбираемся с доступностью дата-центров. Алексей Учакин (EdgeЦентр)
Не все девятки одинаково полезны — две девятки, три, четыре, а ЦОД все равно простаивает. В докладе рассматриваются примеры из реальной жизни о надежности ЦОДов и рецепты, как их подбирать.
В Яндексе традиционно многое «по-своему», но всегда интересно узнать про опыт шардирования больших подсистем с нуля. Интересное решение, обеспечивающее плавную миграцию данных между шардами без координатора и с минимальными блокировками.
Второй год подряд Совет директоров международного консорциума RISC-V обозначает AI/ML в качестве главного приоритета для RISC-V. Это доклад о том, как библиотеки, например Eigen, не просто портируются, но и оптимизируются на новую архитектуру.
Доклад о том, как кластеризовать миллионы товаров на маркетплейсе с помощью коллаборативного подхода и мультимодальных эмбеддингов. Будет показан путь от бизнес-требований до продакшна: выбор подхода, метрики качества, подводные камни — и как это улучшило рекомендации.
Мы все любим байки в стиле «Не ну, вы видели? Видели?!». В докладе Александра их будет целых 4!
Вот использовал ты систему, а ее из-под тебя выдернули. И со всем новым проблемы: люди, услуги, тарифы. Надо куда-то переезжать. А как не расплескать при переезде все ценное? Как, где и в каком количестве держать нагрузку? Как не слить все деньги и время на разработку при этом?
Как эффективно анализировать большой граф, хранящийся в S3, запросами типа OLAP и OLTP? В докладе Алексей из R&D-центра Т‑Банка поделится опытом аналитики и подготовки фич для моделей из графа в DuckDB+DuckPGQ и сравнит преимущества форматов хранения Parquet+Iceberg и GraphAr от Alibaba.
А вы знаете, как работать с большим кликом (50+ Тб)? Михаил точно знает! Зачем нужны шардгруппы и как их правильно готовить на живом кластере — пожалуй, главный take away этого доклада!
Не все девятки одинаково полезны — две девятки, три, четыре, а ЦОД все равно простаивает. В докладе рассматриваются примеры из реальной жизни о надежности ЦОДов и рецепты, как их подбирать.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2
В перерывах между докладами заглядывайте на стенды партнеров, там много интересного 😉
#SaintHighLoad2025
#SaintHighLoad2025
❤1