🎤 Анонс докладов, которые стартуют в 13:30
🔴 «Зал №1 Башня»: Как правильно готовить RabbitMQ — 8 практических кейсов. Виктор Михайлов (Garage Eight)
Глубокое погружение в мир RabbitMQ. Разберем практические кейсы конфигурирования, поудивляемся, поспорим, а может, и похоливарим.
🔴 «Зал 02 / Зелёный»: «Ручная» векторизация в 2025 году: когда компилятора недостаточно. Валерия Пузикова (YADRO)
Популярные фреймворки для AI/ML, такие как Tensorflow и PyTorch, построены на фундаменте высокопроизводительного математического бэкенда. Это доклад о векторных расширениях современных архитектур RISC-V RVV и Arm NEON и о том, как удалось добавить поддержку RVV в Eigen с минимальными затратами.
🔴 «Зал 03 / Розовый»: Тысячи асинхронных задач в секунду в облачных s3 на Rust/Axum/Tokio — шлифуем ржавчину до блеска. Александр Сербул (Битрикс24)
Интересное пересечение двух тем — Rust и параллельной работы c разными облачными хранилищами в условиях «догоняющей» консистентности. Узнаем, какие тонкости нас ждут, как можно добиваться значительного рейта команд к S3 максимально дешево и как при этом нарастить экспертизу в инструменте.
🔴 «Зал 04 / Синий»: Как мы создали свое аппаратное решение для измерения габаритов и веса товара с помощью нейросетей и стереокамер. Мария Гафурова (Ozon)
Хотите узнать о подходах к автоматическому измерению товаров по снимку с камер в промышленном объеме? Приходите послушать доклад, в котором узнаете нюансы обучения ML-моделей для точного измерения товаров от маленькой булавки до большой техники.
🔴 «Зал 05 / Красный»: 10k метрик, 500 A/B-экспериментов и 500kk p-value каждый день. Как это возможно? Данила Леньков (Авито)
Насыщенная личным опытом история развития внутреннего проекта, масштабирования его функциональности на большую компанию и подготовка к созданию продукта. В докладе присутствует фокус на архитектуру и оптимизацию.
🔴 «Зал 06 / Оранжевый шатер»: Переезд в облако рекламного движка с baremetal под высокой нагрузкой. Артем Букин (VK, VK Реклама)
На предыдущих конференциях спикер рассказывал про оптимизации и внутреннее устройство рекламной системы VK, позволяющей ей держать действительно высокие нагрузки. В этом докладе он расскажет какие круги ада пришлось пройти, чтобы перенести настолько оптимизированную систему с baremetal в облако.
🔴 «Зал 07 / Голубой шатер»: JOIN'ы тормозят: почему Spark и Trino не заменят ваш DWH? Алексей Дмитриев (Яндекс)
Вы знаете, что такое Top-down и Bottom-up? А DPCCP и DPHyp? А хотите узнать? Приходите на доклад Алексея, где, помимо прочего, мы сравним Trino, Spark, Greenplum и YDB!
🔴 «Зал 08 / Фиолетовый шатер»: SLI и SLO для бизнеса: как следить за качеством 200+ продуктов. Филипп Бочаров, Эдуард Степанянц (MWS (МТС Web Services))
Все ли хорошо у продукта? Мы укладываемся в SLO? Авторы доклада однозначно могут ответить на этот вопрос. В докладе вы услышите не только описание подхода к «дашбордам здоровья» продуктов, но и узнаете техническую реализацию.
Глубокое погружение в мир RabbitMQ. Разберем практические кейсы конфигурирования, поудивляемся, поспорим, а может, и похоливарим.
Популярные фреймворки для AI/ML, такие как Tensorflow и PyTorch, построены на фундаменте высокопроизводительного математического бэкенда. Это доклад о векторных расширениях современных архитектур RISC-V RVV и Arm NEON и о том, как удалось добавить поддержку RVV в Eigen с минимальными затратами.
Интересное пересечение двух тем — Rust и параллельной работы c разными облачными хранилищами в условиях «догоняющей» консистентности. Узнаем, какие тонкости нас ждут, как можно добиваться значительного рейта команд к S3 максимально дешево и как при этом нарастить экспертизу в инструменте.
Хотите узнать о подходах к автоматическому измерению товаров по снимку с камер в промышленном объеме? Приходите послушать доклад, в котором узнаете нюансы обучения ML-моделей для точного измерения товаров от маленькой булавки до большой техники.
Насыщенная личным опытом история развития внутреннего проекта, масштабирования его функциональности на большую компанию и подготовка к созданию продукта. В докладе присутствует фокус на архитектуру и оптимизацию.
На предыдущих конференциях спикер рассказывал про оптимизации и внутреннее устройство рекламной системы VK, позволяющей ей держать действительно высокие нагрузки. В этом докладе он расскажет какие круги ада пришлось пройти, чтобы перенести настолько оптимизированную систему с baremetal в облако.
Вы знаете, что такое Top-down и Bottom-up? А DPCCP и DPHyp? А хотите узнать? Приходите на доклад Алексея, где, помимо прочего, мы сравним Trino, Spark, Greenplum и YDB!
Все ли хорошо у продукта? Мы укладываемся в SLO? Авторы доклада однозначно могут ответить на этот вопрос. В докладе вы услышите не только описание подхода к «дашбордам здоровья» продуктов, но и узнаете техническую реализацию.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
Forwarded from Максим Цепков (Maxim Tsepkov)
#Highload Дмитрий Кривопальцев и Вадим Клеба. Как выбрать технологии для высоконагруженного проекта и не привлечь внимание санитаров. Доклад - обзор вопросов, которые надо решать при выборе технологий. Но по факту на все вопросы есть общий ответ: включить мозг, а не следовать за модой. А подробнее: (1) понимайте вашу задачу, (2) потребности бизнеса и (3) возможности вашей команды. Любая технология имеет плюсы и минусы, для разных задач подходит разное. И с любой технологией потмо долго жить, нужны люди, которые ей владеют. А теперь по содержанию детально.
Первое - язык. Тут в командах обоих докладчиков два языка, у одной - java + python, при чем на python ядро? а на java - высокопроизводительные конкретные сервисы, в другой java + Go, при этом java - основа, а go - для кусочков, которые общаются по http. B это иллюстрация к уместности языков для задач. При этом надо помнить, что быстрый язык сам по себе не дает производительности, производительность обеспечивается устройством кода. По умолчанию - используем что знаем. Но обязательно помните про команду - возможность изучения новых языков командой, возможность найма разработчиков, владеющих языком.
Второе - база данных. В 9 случаях из 10 подходит PostgreSQL. А в том одном случае - выбирайте по характеристикам, понимая зачем это нужно. Но помните про сопровождения, был кейс, когда выбрали Кассандру, она подходила идеально по характеристикам, но через два года выяснилось, что поддерживать некому, и лучше бы накостылили что-то на PostgreSQL.
Третье - кэш. Его часто включают по умолчанию, чтобы разгрузить базу данных. А есть куча историй, когда кэш просто замедляет и кушает ресурсы. Кэш несет много накладных расходов - инвалидация, устойчивость, сетевые вызовы. И даже когда важна скорость - есть альтернативные решения, например, вместо единого сервиса кэширования положить данные a файлик, который загружать в память на всех нодах - хорошо подходит, если данные редко меняются. Пример - кэширование стран по координатам, акции и скидки на главной странице сайта и тому подобное.
Первое - язык. Тут в командах обоих докладчиков два языка, у одной - java + python, при чем на python ядро? а на java - высокопроизводительные конкретные сервисы, в другой java + Go, при этом java - основа, а go - для кусочков, которые общаются по http. B это иллюстрация к уместности языков для задач. При этом надо помнить, что быстрый язык сам по себе не дает производительности, производительность обеспечивается устройством кода. По умолчанию - используем что знаем. Но обязательно помните про команду - возможность изучения новых языков командой, возможность найма разработчиков, владеющих языком.
Второе - база данных. В 9 случаях из 10 подходит PostgreSQL. А в том одном случае - выбирайте по характеристикам, понимая зачем это нужно. Но помните про сопровождения, был кейс, когда выбрали Кассандру, она подходила идеально по характеристикам, но через два года выяснилось, что поддерживать некому, и лучше бы накостылили что-то на PostgreSQL.
Третье - кэш. Его часто включают по умолчанию, чтобы разгрузить базу данных. А есть куча историй, когда кэш просто замедляет и кушает ресурсы. Кэш несет много накладных расходов - инвалидация, устойчивость, сетевые вызовы. И даже когда важна скорость - есть альтернативные решения, например, вместо единого сервиса кэширования положить данные a файлик, который загружать в память на всех нодах - хорошо подходит, если данные редко меняются. Пример - кэширование стран по координатам, акции и скидки на главной странице сайта и тому подобное.
❤2
Друзья, Фестивальная зона доступна без предъявления талона и не привязана к временным слотам, обязательно приходите сюда 🙌
#SaintHighLoad2025
#SaintHighLoad2025
🤩4🔥2
🎤 Приходите на следующие доклады, которые начинаются в 14:40
🔴 «Зал №1 Башня»: Как работает шардирование PG в процессинге Яндекс Такси. Игорь Березняк (Техплатформа Городских сервисов Яндекса)
В Яндексе традиционно многое «по-своему», но всегда интересно узнать про опыт шардирования больших подсистем с нуля. Интересное решение, обеспечивающее плавную миграцию данных между шардами без координатора и с минимальными блокировками.
🔴 «Зал 02 / Зелёный»: Портируем ML на RISC-V: как не потерять производительность. Ксения Зайцева (YADRO)
Второй год подряд Совет директоров международного консорциума RISC-V обозначает AI/ML в качестве главного приоритета для RISC-V. Это доклад о том, как библиотеки, например Eigen, не просто портируются, но и оптимизируются на новую архитектуру.
🔴 «Зал 03 / Розовый»: Миллион товаров, опыт один: используем коллаборативные и мультимодальные эмбеддинги для кластеризации. Олег Дурандин (Wildberries & Russ)
Доклад о том, как кластеризовать миллионы товаров на маркетплейсе с помощью коллаборативного подхода и мультимодальных эмбеддингов. Будет показан путь от бизнес-требований до продакшна: выбор подхода, метрики качества, подводные камни — и как это улучшило рекомендации.
🔴 «Зал 04 / Синий»: Исследовательское тестирование: как найти бэкапы, которые не восстановятся? Александр Фатин (Postgres Professional)
Мы все любим байки в стиле «Не ну, вы видели? Видели?!». В докладе Александра их будет целых 4!
🔴 «Зал 05 / Красный»: Как мы создавали единую платформу онлайн-тарификации. Назар Гельдыев (МТС)
Вот использовал ты систему, а ее из-под тебя выдернули. И со всем новым проблемы: люди, услуги, тарифы. Надо куда-то переезжать. А как не расплескать при переезде все ценное? Как, где и в каком количестве держать нагрузку? Как не слить все деньги и время на разработку при этом?
🔴 «Зал 06 / Оранжевый шатер»: Аналитика на больших графах в S3: инструменты, подходы и форматы для OLTP и OLAP. Алексей Теплов (Т-Банк)
Как эффективно анализировать большой граф, хранящийся в S3, запросами типа OLAP и OLTP? В докладе Алексей из R&D-центра Т‑Банка поделится опытом аналитики и подготовки фич для моделей из графа в DuckDB+DuckPGQ и сравнит преимущества форматов хранения Parquet+Iceberg и GraphAr от Alibaba.
🔴 «Зал 07 / Голубой шатер»: ClickHouse без боли. Наш опыт рефакторинга легаси-кластера и эффект внедрения шардгрупп. Михаил Филимонов (Magnit OMNI)
А вы знаете, как работать с большим кликом (50+ Тб)? Михаил точно знает! Зачем нужны шардгруппы и как их правильно готовить на живом кластере — пожалуй, главный take away этого доклада!
🔴 «Зал 08 / Фиолетовый шатер»: Четыре девятки хватит всем? Разбираемся с доступностью дата-центров. Алексей Учакин (EdgeЦентр)
Не все девятки одинаково полезны — две девятки, три, четыре, а ЦОД все равно простаивает. В докладе рассматриваются примеры из реальной жизни о надежности ЦОДов и рецепты, как их подбирать.
В Яндексе традиционно многое «по-своему», но всегда интересно узнать про опыт шардирования больших подсистем с нуля. Интересное решение, обеспечивающее плавную миграцию данных между шардами без координатора и с минимальными блокировками.
Второй год подряд Совет директоров международного консорциума RISC-V обозначает AI/ML в качестве главного приоритета для RISC-V. Это доклад о том, как библиотеки, например Eigen, не просто портируются, но и оптимизируются на новую архитектуру.
Доклад о том, как кластеризовать миллионы товаров на маркетплейсе с помощью коллаборативного подхода и мультимодальных эмбеддингов. Будет показан путь от бизнес-требований до продакшна: выбор подхода, метрики качества, подводные камни — и как это улучшило рекомендации.
Мы все любим байки в стиле «Не ну, вы видели? Видели?!». В докладе Александра их будет целых 4!
Вот использовал ты систему, а ее из-под тебя выдернули. И со всем новым проблемы: люди, услуги, тарифы. Надо куда-то переезжать. А как не расплескать при переезде все ценное? Как, где и в каком количестве держать нагрузку? Как не слить все деньги и время на разработку при этом?
Как эффективно анализировать большой граф, хранящийся в S3, запросами типа OLAP и OLTP? В докладе Алексей из R&D-центра Т‑Банка поделится опытом аналитики и подготовки фич для моделей из графа в DuckDB+DuckPGQ и сравнит преимущества форматов хранения Parquet+Iceberg и GraphAr от Alibaba.
А вы знаете, как работать с большим кликом (50+ Тб)? Михаил точно знает! Зачем нужны шардгруппы и как их правильно готовить на живом кластере — пожалуй, главный take away этого доклада!
Не все девятки одинаково полезны — две девятки, три, четыре, а ЦОД все равно простаивает. В докладе рассматриваются примеры из реальной жизни о надежности ЦОДов и рецепты, как их подбирать.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2
В перерывах между докладами заглядывайте на стенды партнеров, там много интересного 😉
#SaintHighLoad2025
#SaintHighLoad2025
❤1
🎤 Друзья, в 15:50 приходите на следующие доклады:
🔴 «Зал №1 Башня»: Как мы балансируем нагрузку внутри Яндекс Мессенджера. Никита Звонарев (Яндекс 360)
Хотите знать, как эффективно балансировать нагрузку в сотни тысяч пользовательских сообщений в секунду? А может, хотите воспроизвести алгоритм такой балансировки в своей инфре? В обоих случаях — вам сюда.
🔴 «Зал 02 / Зелёный»: Кто написал код? Об авторских правах на код, написанный с помощью AI. Ирина Шахтарина (Сбер)
AI-ассистенты уже стали частью повседневной рабочей активности многих IT-специалистов. Однако можно ли им доверить конфиденциальную информацию? Твой ли код, который ты написал с помощью ИИ? Ответы на эти вопросы могут заставить задуматься и несколько уменьшить первоначальный оптимизм использования.
🔴 «Зал 03 / Розовый»: Динамическое ранжирование поисковой/рекомендательной выдачи в высоконагруженных системах: PID-регулятор для баланса KPI и релевантности. Марк Паненко (Ozon Банк)
ML-ранжирование хорошо работает, когда нужно выдать самый релевантный товар или поисковый результат. Но как только появляется платное продвижение своих позиций в выдаче — необходимо искать баланс между пользовательским опытом и выручкой. Доклад предлагает простое в реализации и управлении решение.
🔴 «Зал 04 / Синий»: История технической эволюции сервиса объявлений Авто.ру: от начала до наших дней. Андрей Борунов (Яндекс)
Чего греха таить, мы все любим байки и придания старины глубокой... Андрей расскажет нам историю одного из старейших сервисов Рунета.
🔴 «Зал 05 / Красный»: Pipeline real-time-аналитики цепочек поставок в X5 на основе Debezium CDC, Flink и Apache Iceberg. Иван Смольянинов (X5 Group)
Иван расскажет захватывающий доклад о том, как собрать аналитические данные из более чем 80 разбросанных по всей стране огромных складов. Все бы ничего, но там далеко не всегда стабильный и широкий канал, нет возможности доставить оборудование, а версии ПО заметно разнятся.
🔴 «Зал 06 / Оранжевый шатер»: Обход защиты LLM при помощи состязательных суффиксов и AutoDAN. Никита Беляевский (Raft)
Как найти странный набор символов, скушав который в конце запроса, практически любая крупная LLM «сломается» и отключит цензуру? Как и почему это работает? Для чего это нужно? На все эти вопросы будут даны ответы в докладе.
🔴 «Зал 07 / Голубой шатер»: Геораспределенное резервирование Postgres при помощи Debezium. Николай Голубев (HFLabs)
Наверное, можно пользоваться стандартной асинхронной репликацией PostgreSQL для георезервирования, но ее возможности не очень гибкие. А вот как добиться необходимой гибкости с помощью Debezium на примере реального проекта, можно будет узнать из этого доклада.
🔴 «Зал 08 / Фиолетовый шатер»: MinIO: масштабирование и эксплуатация. Алексей Плетнев (Базис-Центр)
Объектный сторадж покорил многих. А как получить S3 не как услугу? Послушаем опыт использования и роста MinIO, растянутого на полстраны.
Хотите знать, как эффективно балансировать нагрузку в сотни тысяч пользовательских сообщений в секунду? А может, хотите воспроизвести алгоритм такой балансировки в своей инфре? В обоих случаях — вам сюда.
AI-ассистенты уже стали частью повседневной рабочей активности многих IT-специалистов. Однако можно ли им доверить конфиденциальную информацию? Твой ли код, который ты написал с помощью ИИ? Ответы на эти вопросы могут заставить задуматься и несколько уменьшить первоначальный оптимизм использования.
ML-ранжирование хорошо работает, когда нужно выдать самый релевантный товар или поисковый результат. Но как только появляется платное продвижение своих позиций в выдаче — необходимо искать баланс между пользовательским опытом и выручкой. Доклад предлагает простое в реализации и управлении решение.
Чего греха таить, мы все любим байки и придания старины глубокой... Андрей расскажет нам историю одного из старейших сервисов Рунета.
Иван расскажет захватывающий доклад о том, как собрать аналитические данные из более чем 80 разбросанных по всей стране огромных складов. Все бы ничего, но там далеко не всегда стабильный и широкий канал, нет возможности доставить оборудование, а версии ПО заметно разнятся.
Как найти странный набор символов, скушав который в конце запроса, практически любая крупная LLM «сломается» и отключит цензуру? Как и почему это работает? Для чего это нужно? На все эти вопросы будут даны ответы в докладе.
Наверное, можно пользоваться стандартной асинхронной репликацией PostgreSQL для георезервирования, но ее возможности не очень гибкие. А вот как добиться необходимой гибкости с помощью Debezium на примере реального проекта, можно будет узнать из этого доклада.
Объектный сторадж покорил многих. А как получить S3 не как услугу? Послушаем опыт использования и роста MinIO, растянутого на полстраны.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1