В опросе на прошлой неделе вы выбрали тему — мы принесли подборку записей докладов с конференции Saint HighLoad++ 2024 👌

Здесь про архитектуры, построенные для обработки огромного количества запросов. Миллионы и десятки миллионов запросов в секунду 🔥

1) Оптимизация баннерного демона в условиях резкого роста нагрузки. Артем Букин
⠀
Арбитраж рекламы — технически сложно. Сотни тысяч рекламных компаний и только 40 миллисекунд, чтобы найти лучшее объявление. Артем рассказал, какие технические приемы применила команда разработки, чтобы справиться с ростом нагрузки, который увеличил количество серверов до 1500.

👀VK Видео
👀RUTUBE
⠀
2) Как мы держим миллион RPS в рекламе, троттлим трафик и не теряем при этом деньги. Михаил Кириченко
⠀
Вся (!) реклама всех (!!) сервисов VK обрабатывается системой, о которой рассказал Михаил в этом докладе. Вот уж хайлоад так хайлоад, ни отнять, ни прибавить.

👀VK Видео
👀RUTUBE
⠀
3) Хватит себя обманывать, или Давайте посмотрим, как работают статистические балансировщики нагрузки. Ильяс Нежибицкий
⠀
Обычная рандомизированная балансировка запросов между бекендами имеет пределы масштабирования, не давая наращивать мощности сервиса. Ильяс рассказал, на каких масштабах возникает этот предел, и какие методы позволяют его преодолеть. Простое и практичное применение глубинных матметодов.

👀VK Видео
👀RUTUBE

4) Как научить почтовый сервер Exim под нагрузкой 1 000 000 писем/мин. переживать отказ ЦОД без простоя с помощью FUSE и Tarantool, а также развернуть такую систему в K8s. Максим Уймин

Мы в целом научились делать отказоустойчивые и распределенные системы. В любом типе систем есть свои особенности. В докладе вы заглянете под капот почтового сервера Exim и вместе с докладчиком пройдете путь создания отказоустойчивой распределенной системы, работающей под большой нагрузкой.

👀VK Видео
👀RUTUBE

Продуктивного просмотра 😎

Профессиональная конференция для технических директоров 🔥

6 июня в Москве пройдет CTO Conf X 2025 — закрытая конференция только для технических директоров, которые стремятся не просто следить за трендами, но и активно влиять на развитие технологий и бизнеса. Никакой случайной аудитории!

Один насыщенный день, 300 участников и более 20 докладов — концентрат практического опыта, который можно применять уже на следующий день.

Программа и спикеры конференции

✋ Если CTO Conf X 2025 еще нет в вашем календаре, вот несколько причин это исправить:

🔴Практические кейсы от опытных экспертов. Никакой воды — только реальные истории и работающие подходы.

🔴Самые актуальные темы: управление командами, взаимодействие с бизнесом, технологии и процессы — всё, с чем сталкивается технический директор.

🔴300 участников — среди них ваши будущие партнеры, коллеги и друзья. Нетворкинг здесь — не просто слово, а реальный инструмент для карьерного роста и развития бизнеса.

Что вас ждет на конференции ⤵️

В этом году CTO Conf X 2025 сосредоточится на трех ключевых направлениях:

🔹Управление людьми — как нанимать, мотивировать и удерживать лучших специалистов, выстраивать культуру и эффективно работать в распределенных командах.

🔹Взаимодействие с бизнесом — как трансформировать технические решения в реальную ценность, договариваться со стейкхолдерами и продвигать важные инициативы.

🔹Технологии и процессы — от управления техническим долгом до создания устойчивых архитектур.

Ждем вас 🙌

Уже завтра (26 мая) пройдет день открытых дверей HighLoad++ 2025 ⚡⚡

⏰ 19:00

📍Москва, офис VK, Ленинградский проспект, 39 стр. 79

Вы еще успеваете принять участие, не забудьте зарегистрироваться, это обязательно:

🪪 Регистрация на офлайн
🌐 Регистрация на онлайн

Прием заявок на доклады на HighLoad++ 2025 открыт, и мы зовем в гости всех, кому интересна конференция: разработчиков, тимлидов, деврелов, архитекторов — опытных и тех, кто только думает подать доклад.

🔴Расскажем, что нового будет на HighLoad++ 2025.
🔴Покажем, как устроена программа и как работает наша команда.
🔴Ответим на вопросы про подачу докладов и отбор.
🔴Поделимся, почему выступление на HighLoad++ — это не страшно, а классно.
🔴Познакомимся. Поговорим. Подумаем, как делать конференцию ещё сильнее — вместе.

✅ Узнать подробнее о CFP и отправить заявку можно на сайте

Ждем вас завтра, офлайн или онлайн 🙌

5 докладов из секции «Базы данных и системы хранения», в которых спикеры поделятся практическими решениями в хранении и обработке данных ⤵️

🟣Как хранить большой объем горячих данных с высокой степенью отказоустойчивости, не прибегая при этом к услугам облачных сервисов?
🟣Как делали максимально гибкий и легковесный data-skipping-индекс в реалиях и без того шустрой in-memory-СУБД?
🟣Как движки выполнения запросов влияют на поведение базы в реальных условиях, а не на искусственных бенчмарках?
🟣Что случилось в Valkey 8.0 и 8.1 для улучшения latency (и почему это помогает)?
🟣Как упорядочить подход к разработке процедуры обновления программного обеспечения и своевременно фиксировать ошибки в ней?

Ответы на эти вопросы в докладах ⤵️

1) MinIO: масштабирование и эксплуатация. Алексей Плетнев (Базис-Центр)

Объектный сторадж покорил многих. А как получить S3 не как услугу? Послушаем опыт использования и роста MinIO, растянутого на полстраны.

2) Когда Seq Scan не миновать: Data Skipping в новом колоночном движке Tarantool. Андрей Саранчин (VK, VK Tech, Tarantool)

Доклад от разработчика in-memory базы данных Tarantool о том, как они делали индекс для нового колоночного движка. In-memory базы данных обладают своей спецификой, поэтому разработчикам пришлось придумать свой подход и собственные структуры данных: B-дерево с модифицированным алгоритмом балансировки.

3) JOIN'ы тормозят: почему Spark и Trino не заменят ваш DWH? Алексей Дмитриев (Яндекс)

Вы знаете, что такое Top-down и Bottom-up? А DPCCP и DPHyp? А хотите узнать? Приходите на доклад Алексея, где, помимо прочего, вы сравните Trino, Spark, Greenplum и YDB!

4) Valkey: latency в облачных окружениях. Евгений Дюков (Yandex Cloud)

История об особенностях Valkey, опенсорс-форка Redis, и о том, как он работает в облаке Яндекса. Спикер поделится деталями о том, из чего формируется latency и расскажет про особенности обработки запросов.

5) Круговорот обновления. Александр Чуриков (YADRO)

В докладе о том, как в YADRO выстроили процесс обновления корпоративных СХД Tatlin: от архитектуры и первых проблем до автоматизации и передачи задач на базовые линии поддержки. Александр поделится опытом упрощения сложных операций и повышением надежности обновлений.

Ждем вас на Saint HighLoad++ 2025 🖐️

✅ Программа конференции и билеты на сайте

Рассказываем о следующих пяти докладах из секции «Архитектура» в программе Saint HighLoad++ 2025, на которые стоит прийти, чтобы:

🟣узнать об опыте внедрения распространения данных по паттерну EventStreaming для наполнения DataLake;
🟣погрузиться в процесс создания и сопровождения платежных интеграций;
🟣послушать о практике оптимизации настроек и опыте использования оптимизированных K8s-кластеров под управлением deckhouse на прерываемых (спотовых) инстансах в AWS и YC;
🟣узнать об опыте перехода баннерного демона от baremetal-инфраструктуры в облако;
🟣вдохновиться нестандартными вариантами использования привычных инструментов!

1) Эволюция сбора данных в datalake в инфраструктуре Самоката и других продуктов ecom.tech. Дмитрий Копров (ecom.tech)

Инженеры Самоката делятся опытом построения пайплайна сбора данных из различных источников в единое хранилище. Доклад интересен в первую очередь тем, что носит ретроспективный характер, повествует о том, что сработало, что нет — и это может помочь сэкономить месяцы работы DWH-командам.

2) Семь кругов финтеха: драма в двух эпизодах. Маргарита Моногарова (Altenar)

Автор на примерах и собственном опыте расскажет, почему интеграция — это не просто взять и вызвать API. Разбор проблемных ситуаций и exception paths поможет ИТ-специалистам при интеграции различных систем (и финтех-систем в первую очередь) не допускать ошибок, которые могут дорого стоить.

3) Оптимизация стоимости владения K8s-кластерами в AWS и YC, или Как сэкономить 100500 на кубиках за год. Андрей Ивахненко (Антиплагиат)

Доклад о том, как в «Антиплагиате» оптимизировали K8s-кластеры в AWS и YC: 5500 подов, споты, Deckhouse, ML-сервисы, автомасштабирование. Как запускать быстрее, платить меньше и переживать пиковые нагрузки без боли. Реальные настройки, фишки и грабли.

4) Переезд в облако рекламного движка с baremetal под высокой нагрузкой. Артем Букин (VK, VK Реклама)

На предыдущих конференциях спикер рассказывал про оптимизации и внутреннее устройство рекламной системы VK, позволяющей ей держать действительно высокие нагрузки. В этом докладе он расскажет какие круги ада пришлось пройти, чтобы перенести настолько оптимизированную систему с baremetal в облако.

5) Прикладной консенсус. Какая Станция должна ответить? Павел Корозевцев (Яндекс)

Если вы когда-нибудь задумывались, как работает Станция и, особенно, как несколько Станций договариваются между собой, этот доклад — для вас. Архитектура, алгоритмы, технологии.

Ждем вас на Saint HighLoad++ 2025 🖐️

✅ Программа конференции на сайте

То, насколько хорошо вы спроектировали архитектуру своего проекта, определяет всю его жизнь: возможность расти, возможность масштабироваться и выдерживать высокие нагрузки.

Ловите 9 записей докладов-кейсов о проектировании тех или иных аспектов архитектуры с конференции Saint HighLoad++ 2024 🖐️

1) Архитектура биллинга: как не стать единой точкой отказа. Илья Иванов.

Интересный архитектурный кейс от Яндекса по созданию высоконагруженного биллинга.

🔴VK Видео
🔴RUTUBE

2) YTsaurus и аналитические витрины с актуальностью в 15 минут. Филипп Козьмин.

Часто в ETL-процессах возникает потребность «считать часть данных не в batch-режиме, а в NRT». Из доклада вы узнаете, как эффективно реализовать такой процесс для big-data-инфраструктур на базе YTsaurus и при этом не наплодить параллельные вселенные для батча и стриминга.

🔴VK Видео
🔴RUTUBE

3) Делаем бесконечную галерею в Яндекс.Диске: балуемся плюшками, кластеризацией и синхронизацией. Дмитрий Кривопальцев.

Показать все, что скрыто! Честный и откровенный рассказ о том, как устроен изнутри просмотр фотографий в Яндекс.Диске, какие нестандартные решения пришлось применить, чтобы можно было удобно смотреть фоточки на мобилке и в браузере.

🔴VK Видео
🔴RUTUBE

4) Чего не хватает обычному сервису, чтобы стать cloud-native. Дмитрий Некрылов.

Как встроить в платформу или облако сервис, который по дефолту для этого не был рассчитан? Дмитрий рассказал о том, как встраивали Jitsi в Яндекс 360, обеспечивали много девяток и отказоустойчивость под нагрузкой и встреченных подводных камнях на этом пути.

🔴VK Видео
🔴RUTUBE

5) Микросервисы: жизнь после. Невыдуманные истории, о которых невозможно молчать. Иван Матвеев.

Мало конкретной информации о том, с какими проблемами вы можете столкнуться при плавном переходе от монолитной системы к микросервисной? Иван на примере опыта своей компании рассказал о конкретных технических, организационных и процессных проблемах, связанных с переходом к микросервисам.

🔴VK Видео
🔴RUTUBE

6) Быстрый поиск на Redisearch в ленте операций для миллионов пользователей. Илья Сиванев.

Что приходит на ум первым, когда упоминают полнотекстовый поиск? ElasticSearch и Sphinx. Но как быть, когда они не могут решить ваших задач? В докладе опыт использования поиска на базе Redis.

🔴VK Видео
🔴RUTUBE

7) Пайплайны записи своими руками: думали — велосипед, оказалось — паттерны. Роман Щербаков.

Если вы строите систему доставки данных в распределенной среде, то вам будет полезно узнать, как не наступить на множество граблей. Этот доклад — хорошая возможность взглянуть на свою систему через призму применения любимых паттернов.

🔴VK Видео
🔴RUTUBE

8) Как мы шли к 5000 RPS на запись. Ян Силов.

Хорошая история повышения нагрузки на запись и борьбы с ней. Вместе с докладчиком вы погрузитесь в анализ проблем и оптимизацию.

🔴VK Видео
🔴RUTUBE

9) Как работать с поставщиками на примере поиска доступных отелей. Иван Чернов.

Доклад о методах построения архитектуры поиска не только в отельной индустрии, но и в других сферах, где сервис тесно взаимодействует с внешними сервисами. От кэширования до сложных алгоритмов балансировки запросов. Ценное знание для разработчиков, работающих с высокими нагрузками и ограничениями.

🔴VK Видео
🔴RUTUBE

Продуктивного просмотра, не забывайте поделиться видео с коллегами 😉

🟣Данные и команды, которые использует символьная виртуальная машина для трансляции и последующего анализа исходного кода.
🟣Источники данных об устройствах, которые использует Яндекс.
🟣Путь спутникового снимка до его появления в Яндекс.Картах.
🟣Имплементация low-code- и no-code-решений на примере российской IoT-платформы.
🟣Применение GPU для ускорения алгоритмов решения геометрических задач в САПР.
🟣Погружение в управление транзакциями (оптимистичные и пессимистичные блокировки) и безопасность — RBAC, ABAC и OpenID.

Все это ждет вас на докладах, о которых рассказываем сегодня:

1) Анализ кода: символьная виртуальная машина. Георгий Александрия (Positive Technologies)

Глубокий доклад про алгоритмы статического анализа безопасности. Будет интересен не только безопасникам, но и тем, кто любит красивые низкоуровневые решения.

2) Современные механизмы определения параметров устройств в вебе. Евгений Шарамед (Яндекс)

Как Яндекс работает с информацией о вашем устройстве? Все, что вы хотели знать об этом, но боялись спросить — в одном докладе!

3) Взгляд за кулисы Яндекс.Карт: от сырых спутниковых данных до четких изображений. Игорь Орпанен (Яндекс)

Как выглядят исходные данные со спутников, как их готовят в Яндексе и при чем тут рельеф Земли? Все это в докладе Игоря, а также технологии: Cloud Optimized GeoTIFF, Pansharpening, RPC-трансформации и, конечно, бесценный опыт с картой обхода шишек и граблей.

4) Как сделать исполнение low-code прозрачным: опыт большой IoT-платформы. Владимир Плизга (Tibbo Systems)

У вас есть свой DSL, которым оперируют конечные пользователи. На этом DSL можно писать скрипты, и скрипты эти могут быть небыстрыми. Рассказ о том, как дать пользователю инструмент для анализа и улучшения производительности и при этом не потерять в производительности исполнения скрипта.

5) Геометрия на стероидах: практический опыт переноса тяжелых вычислений на GPU при проектировании инженерных сетей. Михаил Лукин (Судо)

Автоматическое проектирование электрических, газовых и других сетей разумно делать на графах. Но есть один нюанс... Чем точнее граф, тем он больше и дольше строится. Михаил расскажет, как для этого использует GPU, шишки, опыт — все, как мы любим. И бонус: ликбез о программировании GPU.

6) Аспект DDD и GraphQL в задачах построения высоконагруженных интеграционных систем. Виктор Бирюков (СберТех)

В одном докладе можно сразу почерпнуть, как практически использовать принципы предметно-ориентированного проектирования и принципы GraphQL. При этом подход можно внедрить для разработки и реализации однотипных сервисов, что значительно может снижать расходы на разработку и дальнейшую поддержку.

Ждем вас на Saint HighLoad++ 2025 🖐️

✅ Программа конференции, расписание и билеты на сайте