У вас настроение «майские» активировано?

😎 — да, это я тот самый коллега
🤔 — это мои коллеги, но не я
🗿 — у меня релиз

Доклады из секции «Аппаратное обеспечение» будут особенно полезны тем, кому интересны новые архитектуры, высокопроизводительные вычисления и низкоуровневые оптимизации приложений AI/ML, AR/VR, CV, HPC. А также инженерам по эксплуатации и обслуживанию серверов, хостинг-провайдерам, техническим директорам и владельцам бизнеса с собственным парком оборудования, инженерам и разработчикам, которые занимаются проектированием серверных решений ⤵️

1) Портируем ML на RISC-V: как не потерять производительность. Ксения Зайцева (YADRO)

Современные архитектурные решения для ML, помимо мощностей ЦПУ, задействуют ресурсы тензорных или графических ускорителей. В итоге производительность упирается в пропускную способность шины, и не всегда перенос вычислений на ускоритель стоит свеч. Ксения расскажет, каким образом эта проблема может быть решена в процессорах на базе архитектуры RISC-V и почему многие эксперты считают ее будущим для ML-приложений.

2) «Ручная» векторизация в 2025 году: когда компилятора недостаточно. Валерия Пузикова (YADRO)

Валерия покажет, что дает «ручная» векторизация на RISC-V и Arm на примере двух широко используемых высокопроизводительных Open Source-библиотек линейной алгебры — Eigen и OpenBLAS. Слушатели поймут, почему автовекторизации не хватает для ускорения приложений AI/ML, AR/VR, CV, HPC. На графиках производительности увидят, далеко ли до roofline и где прячутся compute-bound и memory-bound алгоритмы.

3) От перегрева к успеху: как мы изменили подход к жидкостному охлаждению десктопных процессоров в серверах и превратили спорный продукт в популярное решение. Григорий Прадедов (АО «Юнико»)

Одна из самых больших проблем в области — теплоотведение. Как выжать из формфактора и эффективной упаковки железа по максимуму? Послушаем максимально практичную историю об изготовлении и эксплуатации жидкостного охлаждения для целого флота устройств.

Присоединяйтесь к нам 23 и 24 июня в Санкт-Петербурге на Saint HighLoad++ 2025 🙌

✅ Программа конференции, расписание и билеты на сайте

Представьте: 4000 сервисов, 500 команд, 100 кластеров — и все это нужно перенести на новые Kubernetes-дистрибутивы. Потому что Red Hat ушла и забрала с собой поддержку OpenShift.

Максим Чудновский, лидер по продукту Platform V Synapse Service Mesh СберТех, рассказал хитрый подход к миграции, который позволяет перенести тысячи сервисов и десятки тысяч Yaml-манифестов без правок в коде и конфигурациях.

✅ Узнайте подход в статье

Применение ИИ и ML в высоконагруженных системах становится все более распространенным. В категории «Искусственный интеллект и машинное обучение в высоконагруженных системах» собраны доклады и мастер-класс о практическом применении ML в производственных системах ⤵️

1) Мастер-класс: «Удивительные эмбеддинги — как векторные представления применяются в задачах поиска и рекомендаций». Иван Красников (searchbooster.io)

Как устроена магия эмбеддингов внутри на мастер-классе подробно разбираться не будет, зато участники научатся махать волшебной палочкой! Будут разобраны на практике инструменты, которые позволяют строить и использовать векторные представления для рекомендательных и поисковых данных, даже если вы не Data Scientist.
Подготовительное задание: для экономии времени и снижения рисков поломки интернета необходимо заранее скачать материалы по ссылке (файл будет размещен за 2 недели до даты проведения конференции)

*Эмбеддинги — основа многих современных ML-решений, понимание их применения необходимо для создания эффективных систем.

2) Умный поиск по внутренней базе знаний с использованием LLM: от архитектуры до внедрения. Алексей Болтава (Т-Банк)

История о том, как Т-Банк улучшал поиск по всей внутренней проектной (и не только) информации. Тот случай, когда просто «нормально» — это мало и нужны постоянные улучшения. Рекомендуется тем, кто хочет использовать информацию по полной.

*Практическое применение LLM для корпоративных задач — одна из самых горячих тем в индустрии.

3) Архитектура высоконагруженных RAG-систем: 10 стратегий оптимизации чанкинга и интеграция с Weaviate, Qwen / Llama / Gemma. Андрей Носов (Raft)

В докладе обсуждаются архитектурные решения для построения RAG-системах, включая 10 стратегий оптимизации чанкинга, выбор векторной БД, оптимизацию пайплайнов для работы с LLM, кэширование чанков и эмбеддингов для снижения задержек и методы повышения точности при работе с большими данными.

*RAG-системы становятся стандартным подходом к применению LLM в корпоративных задачах.

4) Эволюция векторного поиска в YDB: от базовых методов к масштабируемому глобальному индексу. Александр Зевайкин (YDB)

Хотите знать, что же такое векторный поиск? Причем здесь ИИ? А как сделать так, чтобы он был быстрым? Как сделать так, чтобы он масштабировался на множество нод? Приходите на доклад Александра о том, как векторный поиск со всеми этими свойствами сделан внутри YDB.

*Векторный поиск — фундаментальная технология для современных ML-систем и рекомендательных сервисов.

5) ML в продакшене: почему аналитикам и бэкенду сложно договориться. Сергей Лавров (Авиасейлс)

Мы пользуемся Aviasales, но понимаем ли мы, по каким принципам нам рекомендуются билеты? Сергей расскажет именно об этом. Как от хороших рекомендаций перейти к лучшим: пример совместного непростого путешествия ML- и бэкенд-команд.

*Огромный отрыв в голосовании показывает высокий интерес к проблеме интеграции ML-решений в рабочие процессы.

Ждем вас на профессиональной конференции разработчиков высоконагруженных систем Saint HighLoad++ 2025 🖐️

✅ Программа конференции, расписание и билеты на сайте

Друзья, в этом посте мы собрали для вас полезные материалы, опубликованные за апрель: статьи, записи докладов и подкасты. На случай, если вы что-то пропустили 😉

📜 Почитать:

У построения высоконагруженных IoT-систем свои нюансы. Там не такой хайлоад, к которому все привыкли в вебе. Опыт решения проблем роста нагрузки в умных домах.

Покоряем сетевой стек Linux: декапсулируем пакеты с помощью eBPF на скорости 6Mpps+. Как использовали eBPF для перехвата и декапсуляции VXLAN-пакетов прямо в ядре, обеспечив корректный сбор статистики без значительных изменений в архитектуре системы.

Как сделать централизованное логирование и крепко спать по ночам. Эволюция системы логирования через поле, усыпанное граблями, до нагруженного production-сервиса.

Железо ненадежно, люди ненадежны, поставщики ненадежны. Как спроектировали и запустили собственную облачную платформу на 20К виртуальных машин — опыт Wildberries.

Проектируем собственную inhouse Feature Platform. Как построить внутреннюю Feature Platform, которая ускоряет внедрение ML-моделей и делает работу с данными прозрачной и управляемой.

Оптимизация конкурентных приложений в Go. Как превратить конкурентность из потенциальной ловушки в инструмент для построения эффективных и поддерживаемых приложений.

Как мигрировать с OpenShift на любой дистрибутив Kubernetes без единой правки. Хитрый подход к миграции, который позволяет перенести тысячи сервисов и десятки тысяч Yaml-манифестов без правок в коде и конфигурациях.


👀 🎧 Посмотреть и послушать:

Записи докладов с конференции Saint HighLoad++ 2024:

«Как мы монгу физически бэкапили». Рассказ о том, как Яндекс учился бэкапить кластеры MongoDB для своих клиентов: чтобы бэкапы занимали адекватное количество места, с ними было легко работать, а главное — чтобы из них можно было восстановить консистентный кластер!

«Психологический возраст кибербезопасности». Внимание к кибербезопасности сегодня повышенное и невозможно обойти такую ее сторону, как готовность организации. Обычно оценивают технологии с помощью опросов и аудита. Спикер пошел дальше и рассказал, как все это работает и как определить психологическую зрелость кибербеза в компании.

Подкасты:

Можно ли сэкономить миллионы компании, внедрив FinOps? Или это просто модный термин без реальной пользы? Выпуск Podcast++ о том, как эффективно управлять затратами на инфраструктуру и мотивировать команду думать о бюджете.

Одного грейда уже не хватает. Разработчики с одинаковыми скиллами получают разные офферы — потому что одни умеют говорить о себе, а другие нет. Подкаст о том, как разработчику стать заметнее на рынке.


Сохраните дайджест себе и поделитесь с коллегами 🙌

Работа нейросетей с медиаконтентом прямо в браузере – одна из самых сложных задач для современных сервисов видеоконференций. Как добиться real-time инференса, сэкономить ресурсы пользователя и при этом не потерять в качестве?

Дмитрий Балиев из SberDevices поделился опытом создания собственного движка для ML-моделей. Рассказал, почему они не стали брать готовые Open Source-решения и как построили эффективный инференс, используя возможности WebGL. Как работает их графовый движок, который дает возможность оптимизировать вычисления, но при этом аккуратно структурировать код.

✅ Подробности в статье

Обработка потоковых данных — важная составляющая многих высоконагруженных систем. В категории «Стриминг и обработка потоковых данных» объединены доклады о технологиях и практиках работы с потоковыми данными ⤵️

1) Архитектура сбора продакшен-трафика для нагрузочного тестирования: 10 000 микросервисов и 30 млрд запросов в Ozon. Евгений Кузышин (Ozon)

Как собрать трафик в реальном времени с 10 000 микросервисов в Оzon для ежедневных нагрузочных тестов, превращая 30 млрд запросов в супероружие для проверки системы. Докладчик поделится практическими решениями и реальными инсайтами по организации масштабируемой системы сбора трафика.

* Реальный опыт масштабирования системы сбора и обработки данных.

2) 10k метрик, 500 A/B-экспериментов и 500kk p-value каждый день. Как это возможно? Данила Леньков (Авито)

Насыщенная личным опытом история развития внутреннего проекта, масштабирования его функциональности на большую компанию и подготовка к созданию продукта. В докладе присутствует фокус на архитектуру и оптимизацию.

* Обработка огромных объемов аналитических данных в реальном времени — сложная техническая задача.

3) Сравнение масштабируемости Kafka и YDB Topics. Андрей Серебрянский (YDB)

Highload без очередей не highload. Профи построения Stream-систем Андрей Серебрянский расскажет кейсы масштабирования стриминга, подсветит подводные камни, для каждого случая проведет сравнительный анализ (без прикрас): Kafka и YDB Topics. Узнаем, где лучше применять каждый инструмент.

*Сравнительный анализ технологий помогает выбрать оптимальное решение для конкретных задач потоковой обработки.

4) Как правильно готовить RabbitMQ – 8 практических кейсов. Виктор Михайлов (Garage Eight)

Глубокое погружение в мир RabbitMQ. Разберем практические кейсы конфигурирования, поудивляемся, поспорим, а может, и похоливарим.

* RabbitMQ — популярный брокер сообщений, правильная настройка которого критична для многих систем.

5) CDC без боли: Реальный опыт построения отказоустойчивой репликации с Debezium и Kafka. Евгений Прочан (Magnit OMNI)

Как импортировать только новые данные из более чем 16 типов баз? Как обеспечить надежный observability всего этого и не мешать основной работе систем? Евгений расскажет, как они в DWH Magnit OMNI используют Debezium, его возможности: инкрементальные снапшоты, хардбиты, сигналы и кое-что еще.

* Change Data Capture (CDC) — важный паттерн для синхронизации данных между системами в реальном времени.

Присоединяйтесь к нам 23 и 24 июня на Saint HighLoad++ 2025 🙌

✅ Программа конференции, расписание и билеты на сайте

Надежная работа высоконагруженных систем требует грамотной эксплуатации и мониторинга. Категория «Эксплуатация и мониторинг высоконагруженных систем» включает доклады о практиках поддержки систем в «боевых» условиях ⤵️

1) Как настроить Nginx, чтобы он выдержал DDoS. Сергей Черкашин (Wildberries&Russ)

Помните sysctl-параметры для C10K problem из статей 2000-х? Приходите узнать, какие из них работают сейчас. Еще будет информация, как делать ratelimit на JA4 и какой с него толк. Как кешировать динамику. Как обрабатывать access.log, если ты очень большой. И это еще не все вкусности доклада.

*Практические рекомендации по защите от DDoS-атак, которые стали обыденностью для многих российских сервисов.

2) Четыре девятки хватит всем? Разбираемся с доступностью дата-центров. Алексей Учакин (EdgeЦентр)

Не все девятки одинаково полезны – две девятки, три, четыре, а ЦОД все равно простаивает. В докладе рассматриваются примеры из реальной жизни о надежности ЦОДов и рецепты как их подбирать.

*Определение необходимого уровня доступности (SLA) — ключевой вопрос при проектировании надежных систем.

3) Как делать эффективные дашборды для 2000+ микросервисов? Алексей Золотухин (Техплатформа Городских сервисов Яндекса)

Многие рассказывают про то, что алертов и дэшбордов должно быть не сильно много, чтобы не устать от них. Но мало кто задумывается о том, что у дэшбордов в графане тоже должен быть хороший UI и UX. В этом докладе будут советы по настройке дэшбордов для удобства и скорости.

*Мониторинг сложных микросервисных архитектур — вызов, с которым сталкиваются многие команды эксплуатации.

4) SLI и SLO для бизнеса: как следить за качеством 200+ продуктов. Филипп Бочаров, Эдуард Степанянц (МТС Web Services)

«Все ли хорошо у продукта? Мы укладываемся в SLO?». Авторы доклада однозначно могут ответить на этот вопрос. В докладе вы услышите не только описание подхода к «Дашбордам здоровья» продуктов, но и узнаете техническую реализацию

*Методология SRE и определение SLO становятся стандартом при эксплуатации сложных систем.

5) 20 лет на граблях: ошибки, отказы и выводы. Александр Стерлигов (МТС Web Services)

Спикер с большим опытом работы в ИТ. В докладе 4 ситуации, с которыми он столкнулся по ходу своей карьеры. Fail-митап, превращенный в полноценный доклад с историями, которые кажутся как шутки, но это реальность.

*Опыт работы с отказами систем позволяет предотвратить будущие проблемы и повысить общую надежность.

🖐️ Ждем вас 23 и 24 июня в Санкт-Петербурге на Saint HighLoad++ 2025.

✅ Полная программа конференции, расписание и билеты на сайте

В Go есть раздел, про который не любят говорить даже Go-программисты. Это самое глубокое «подкапотье» стека — применение Go-ассемблера. Часть, которая вплотную прилегает к ядру системы и камням процессоров.

Игорь Панасюк любит Go и готов рассказывать о том, как ускорить код, используя абстрактный ассемблер Go. Он покажет, как можно пользоваться SIMD-инструкции, которые не поддержаны из коробки с примерами программ.

✅ Подробности в статье

Если вы проходите путь от стартапа к высоконагруженному сервису, разрабатываете высоконагруженные бизнес-приложения, интересуетесь распределенными системами или хотите разобраться в практическом применении AsyncAPI — следующие четыре доклада из секции «Архитектура» для вас ⤵️

1) От 1 тыс. до 180 тыс. IoT-устройств: как мы масштабировали архитектуру и пережили кризис роста. Руслан Ягафаров (МТС Юрент)

Кто-то любит электросамокаты, кто-то их ненавидит, но знают их все. История про то, как развивался один из самых крупных сервисов проката. Зоопарк технологий, боль, фейлы и элегантные решения.

2) История технической эволюции сервиса объявлений Авто.ру: от начала до наших дней. Андрей Борунов (Яндекс)

Чего греха таить, мы все любим байки и придания старины глубокой... Андрей расскажет нам историю одного из старейших сервисов Рунета.

3) От клика до публикации: архитектура платформы размещения объявлений Авито. Евгений Толмачев (Авито)

Сколько нужно девяток для счастья платформе объявлений Авито, и как этого добиться в реальных условиях — расскажет нам Евгений!

4) AsyncAPI – Swagger для асинхронного API. Александр Митин (ИТ-Холдинг Т1)

Как описать Kafka и event-driven-системы так же просто, как REST? Александр покажет, как стандарт AsyncAPI превращает обмен сообщениями в contract-first-процесс: от схем до генерации кода, документации и контрактных тестов.

Встречаемся 23 и 24 июня в Санкт-Петербурге на Saint HighLoad++ 2025, присоединяйтесь к нам 🖐️

✅ Программа конференции и билеты на сайте

На HighLoad++ 2024 мы задали участникам вопрос ⬆️

Построить собственный магазин фичей — задача не классическая. Такое за пару недель не сделаешь. Нужны исследования, совместимость, обучение.

Евгений Дащенко из Домклик рассказал, как они последовательно внедряли свой Feature Store в существующие пайплайны «на ходу» и параллельно успевали решать бизнес-задачи. Что сделали, чтобы не уйти в долгострой и показать первые результаты: начиная от разбора запросов и источников, заканчивая автогенерацией фич через SDK.

➡️ Эту невероятную историю можно прочитать в статье

Внедрение ClickHouse для аналитики около реального времени, нюансы разработки инфраструктурных провайдеров, построение единой платформы аутентификации для группы компаний, разработка внутренних платформ и решение проблемы взаимодействия разных технологий — все это в докладах, о которых рассказываем сегодня ⤵️

1) Система аналитики в реальном времени на 5 млрд событий в день c помощью ClickHouse. Андрей Березин (SberDevices)

Классное практическое пособие, как из готовых и бесплатных решений относительно быстро собрать аналитическое решение, которое подойдет для большинства компаний.

2) Инфраструктурный провайдер для Cluster API: с нуля до open source. Василий Димов (Т-Банк)

Казалось бы, история разработки еще одного open source-продукта для инфраструктуры. Но тут еще и обоснование архитектурных решений с обзором альтернативных решений Cluster API на основе платформ крупнейших гиперскейлеров, и собственная экспертиза работы с Yandex Cloud. Все в одном флаконе.

3) Строим единую платформу аутентификации на основе Keycloak. Виктор Попов (ecom.tech)

Доклад о том, как построить и развивать масштабируемую платформу аутентификации на базе Keycloak: от выбора IDM-системы и отказоустойчивой мультиЦОД-архитектуры до полного IaC-подхода и Self Service.

4) FinOps в IТ-платформе Туту. Как мы говорим с бизнесом про эффективность. Максим Скоморохов (tutu.ru)

Продолжение истории про развитие внутренней платформы Туту. Спикер расскажет про проблему эффективности платформы, поделится подходами к планированию и оптимизации затрат, представит финансовую модель внутреннего биллинга и ключевые метрики, покажет инструменты, поддерживающие эти процессы.

5) Объединение сложных филиальных организаций при помощи Event Mesh. Александр Бардаш (МТС Web Services)

Вы узнаете, как MTS Web Services объединили свои системы через Event Mesh: унифицировали интеграцию REST, Kafka, RabbitMQ без ручных настроек. Ценный кейс внедрения платформы с удобным подключением сервисов. Доклад полезен всем, кто хочет упростить интеграции и повысить надежность обмена данными.

Ждем вас 23 и 24 июня на Saint HighLoad++ 2025 🙌

✅ Программа конференции, расписание и билеты на сайте

В эпоху больших данных и возрастающих вычислительных нагрузок производительность Spark-приложений становится критически важной для бизнеса.

Александр Маркачев, Data Engineer команды Голосовой Антифрод в билайн, поделился опытом оптимизации Spark-кода на реальных задачах: как с помощью ручного и автоматического репартицирования ускорить обработку данных, как правильно настраивать оконные функции и запускать множество небольших Spark-приложений внутри одного процесса для экономии ресурсов. Все техники сопровождаются объяснениями, примерами и рекомендациями для самостоятельного повторения.

✅ Статья

DevOps-практики и культура – секция для тех, кто хочет заложить или укрепить культурный и технологический фундамент DevOps на практике.

На Saint HighLoad++ 2025 приходите послушать доклады секции, чтобы освоить реализацию SLI/SLO, исследовать возможности Kubernetes API и узнать о 8-летнем опыте создания AdGuard DNS ⤵️

1) Как добыть SLO: источники и инструменты гномов SREдней полосы. Дмитрий Синявский (Ви.Tech)

Если вы стоите в начале пути построения своих SLO/SLI, то этот доклад поможет вам разобраться, с чего начать и как избежать подводных камней при внедрении.

2) Extension API Server в Kubernetes: когда CRD недостаточно. Ярослав Борбат (Флант)

Когда необходимо расширить возможности Kubernetes и добавить новую функциональность, приходит на ум Custom Resource Definitions. И закономерный вопрос: всегда ли CRD достаточно для решения задачи или есть другие подходы, которые можно использовать в разработке под Kubernetes? Попробуем разобраться!

3) AdGuard DNS — от нуля до 100 000 000 пользователей через боль. Андрей Мешков, Константин Замякин (AdGuard)

Доклад — мастхэв для всех, кто хочет узнать историю развития AdGuard DNS и увидеть все те проблемы, которые собрали ребята в процессе реализации DNS-сервиса на 100kk пользователей. В нем реальные кейсы из практики создания одного из самых больших DNS-сервисов в мире.

Встречаемся 23 и 24 июня в Санкт-Петербурге 🙌

✅ Посмотреть программу конференции и забронировать билет можно на сайте