Уже завтра (26 мая) пройдет день открытых дверей HighLoad++ 2025 ⚡⚡

⏰ 19:00

📍Москва, офис VK, Ленинградский проспект, 39 стр. 79

Вы еще успеваете принять участие, не забудьте зарегистрироваться, это обязательно:

🪪 Регистрация на офлайн
🌐 Регистрация на онлайн

Прием заявок на доклады на HighLoad++ 2025 открыт, и мы зовем в гости всех, кому интересна конференция: разработчиков, тимлидов, деврелов, архитекторов — опытных и тех, кто только думает подать доклад.

🔴Расскажем, что нового будет на HighLoad++ 2025.
🔴Покажем, как устроена программа и как работает наша команда.
🔴Ответим на вопросы про подачу докладов и отбор.
🔴Поделимся, почему выступление на HighLoad++ — это не страшно, а классно.
🔴Познакомимся. Поговорим. Подумаем, как делать конференцию ещё сильнее — вместе.

✅ Узнать подробнее о CFP и отправить заявку можно на сайте

Ждем вас завтра, офлайн или онлайн 🙌

5 докладов из секции «Базы данных и системы хранения», в которых спикеры поделятся практическими решениями в хранении и обработке данных ⤵️

🟣Как хранить большой объем горячих данных с высокой степенью отказоустойчивости, не прибегая при этом к услугам облачных сервисов?
🟣Как делали максимально гибкий и легковесный data-skipping-индекс в реалиях и без того шустрой in-memory-СУБД?
🟣Как движки выполнения запросов влияют на поведение базы в реальных условиях, а не на искусственных бенчмарках?
🟣Что случилось в Valkey 8.0 и 8.1 для улучшения latency (и почему это помогает)?
🟣Как упорядочить подход к разработке процедуры обновления программного обеспечения и своевременно фиксировать ошибки в ней?

Ответы на эти вопросы в докладах ⤵️

1) MinIO: масштабирование и эксплуатация. Алексей Плетнев (Базис-Центр)

Объектный сторадж покорил многих. А как получить S3 не как услугу? Послушаем опыт использования и роста MinIO, растянутого на полстраны.

2) Когда Seq Scan не миновать: Data Skipping в новом колоночном движке Tarantool. Андрей Саранчин (VK, VK Tech, Tarantool)

Доклад от разработчика in-memory базы данных Tarantool о том, как они делали индекс для нового колоночного движка. In-memory базы данных обладают своей спецификой, поэтому разработчикам пришлось придумать свой подход и собственные структуры данных: B-дерево с модифицированным алгоритмом балансировки.

3) JOIN'ы тормозят: почему Spark и Trino не заменят ваш DWH? Алексей Дмитриев (Яндекс)

Вы знаете, что такое Top-down и Bottom-up? А DPCCP и DPHyp? А хотите узнать? Приходите на доклад Алексея, где, помимо прочего, вы сравните Trino, Spark, Greenplum и YDB!

4) Valkey: latency в облачных окружениях. Евгений Дюков (Yandex Cloud)

История об особенностях Valkey, опенсорс-форка Redis, и о том, как он работает в облаке Яндекса. Спикер поделится деталями о том, из чего формируется latency и расскажет про особенности обработки запросов.

5) Круговорот обновления. Александр Чуриков (YADRO)

В докладе о том, как в YADRO выстроили процесс обновления корпоративных СХД Tatlin: от архитектуры и первых проблем до автоматизации и передачи задач на базовые линии поддержки. Александр поделится опытом упрощения сложных операций и повышением надежности обновлений.

Ждем вас на Saint HighLoad++ 2025 🖐️

✅ Программа конференции и билеты на сайте

Рассказываем о следующих пяти докладах из секции «Архитектура» в программе Saint HighLoad++ 2025, на которые стоит прийти, чтобы:

🟣узнать об опыте внедрения распространения данных по паттерну EventStreaming для наполнения DataLake;
🟣погрузиться в процесс создания и сопровождения платежных интеграций;
🟣послушать о практике оптимизации настроек и опыте использования оптимизированных K8s-кластеров под управлением deckhouse на прерываемых (спотовых) инстансах в AWS и YC;
🟣узнать об опыте перехода баннерного демона от baremetal-инфраструктуры в облако;
🟣вдохновиться нестандартными вариантами использования привычных инструментов!

1) Эволюция сбора данных в datalake в инфраструктуре Самоката и других продуктов ecom.tech. Дмитрий Копров (ecom.tech)

Инженеры Самоката делятся опытом построения пайплайна сбора данных из различных источников в единое хранилище. Доклад интересен в первую очередь тем, что носит ретроспективный характер, повествует о том, что сработало, что нет — и это может помочь сэкономить месяцы работы DWH-командам.

2) Семь кругов финтеха: драма в двух эпизодах. Маргарита Моногарова (Altenar)

Автор на примерах и собственном опыте расскажет, почему интеграция — это не просто взять и вызвать API. Разбор проблемных ситуаций и exception paths поможет ИТ-специалистам при интеграции различных систем (и финтех-систем в первую очередь) не допускать ошибок, которые могут дорого стоить.

3) Оптимизация стоимости владения K8s-кластерами в AWS и YC, или Как сэкономить 100500 на кубиках за год. Андрей Ивахненко (Антиплагиат)

Доклад о том, как в «Антиплагиате» оптимизировали K8s-кластеры в AWS и YC: 5500 подов, споты, Deckhouse, ML-сервисы, автомасштабирование. Как запускать быстрее, платить меньше и переживать пиковые нагрузки без боли. Реальные настройки, фишки и грабли.

4) Переезд в облако рекламного движка с baremetal под высокой нагрузкой. Артем Букин (VK, VK Реклама)

На предыдущих конференциях спикер рассказывал про оптимизации и внутреннее устройство рекламной системы VK, позволяющей ей держать действительно высокие нагрузки. В этом докладе он расскажет какие круги ада пришлось пройти, чтобы перенести настолько оптимизированную систему с baremetal в облако.

5) Прикладной консенсус. Какая Станция должна ответить? Павел Корозевцев (Яндекс)

Если вы когда-нибудь задумывались, как работает Станция и, особенно, как несколько Станций договариваются между собой, этот доклад — для вас. Архитектура, алгоритмы, технологии.

Ждем вас на Saint HighLoad++ 2025 🖐️

✅ Программа конференции на сайте

То, насколько хорошо вы спроектировали архитектуру своего проекта, определяет всю его жизнь: возможность расти, возможность масштабироваться и выдерживать высокие нагрузки.

Ловите 9 записей докладов-кейсов о проектировании тех или иных аспектов архитектуры с конференции Saint HighLoad++ 2024 🖐️

1) Архитектура биллинга: как не стать единой точкой отказа. Илья Иванов.

Интересный архитектурный кейс от Яндекса по созданию высоконагруженного биллинга.

🔴VK Видео
🔴RUTUBE

2) YTsaurus и аналитические витрины с актуальностью в 15 минут. Филипп Козьмин.

Часто в ETL-процессах возникает потребность «считать часть данных не в batch-режиме, а в NRT». Из доклада вы узнаете, как эффективно реализовать такой процесс для big-data-инфраструктур на базе YTsaurus и при этом не наплодить параллельные вселенные для батча и стриминга.

🔴VK Видео
🔴RUTUBE

3) Делаем бесконечную галерею в Яндекс.Диске: балуемся плюшками, кластеризацией и синхронизацией. Дмитрий Кривопальцев.

Показать все, что скрыто! Честный и откровенный рассказ о том, как устроен изнутри просмотр фотографий в Яндекс.Диске, какие нестандартные решения пришлось применить, чтобы можно было удобно смотреть фоточки на мобилке и в браузере.

🔴VK Видео
🔴RUTUBE

4) Чего не хватает обычному сервису, чтобы стать cloud-native. Дмитрий Некрылов.

Как встроить в платформу или облако сервис, который по дефолту для этого не был рассчитан? Дмитрий рассказал о том, как встраивали Jitsi в Яндекс 360, обеспечивали много девяток и отказоустойчивость под нагрузкой и встреченных подводных камнях на этом пути.

🔴VK Видео
🔴RUTUBE

5) Микросервисы: жизнь после. Невыдуманные истории, о которых невозможно молчать. Иван Матвеев.

Мало конкретной информации о том, с какими проблемами вы можете столкнуться при плавном переходе от монолитной системы к микросервисной? Иван на примере опыта своей компании рассказал о конкретных технических, организационных и процессных проблемах, связанных с переходом к микросервисам.

🔴VK Видео
🔴RUTUBE

6) Быстрый поиск на Redisearch в ленте операций для миллионов пользователей. Илья Сиванев.

Что приходит на ум первым, когда упоминают полнотекстовый поиск? ElasticSearch и Sphinx. Но как быть, когда они не могут решить ваших задач? В докладе опыт использования поиска на базе Redis.

🔴VK Видео
🔴RUTUBE

7) Пайплайны записи своими руками: думали — велосипед, оказалось — паттерны. Роман Щербаков.

Если вы строите систему доставки данных в распределенной среде, то вам будет полезно узнать, как не наступить на множество граблей. Этот доклад — хорошая возможность взглянуть на свою систему через призму применения любимых паттернов.

🔴VK Видео
🔴RUTUBE

8) Как мы шли к 5000 RPS на запись. Ян Силов.

Хорошая история повышения нагрузки на запись и борьбы с ней. Вместе с докладчиком вы погрузитесь в анализ проблем и оптимизацию.

🔴VK Видео
🔴RUTUBE

9) Как работать с поставщиками на примере поиска доступных отелей. Иван Чернов.

Доклад о методах построения архитектуры поиска не только в отельной индустрии, но и в других сферах, где сервис тесно взаимодействует с внешними сервисами. От кэширования до сложных алгоритмов балансировки запросов. Ценное знание для разработчиков, работающих с высокими нагрузками и ограничениями.

🔴VK Видео
🔴RUTUBE

Продуктивного просмотра, не забывайте поделиться видео с коллегами 😉

🟣Данные и команды, которые использует символьная виртуальная машина для трансляции и последующего анализа исходного кода.
🟣Источники данных об устройствах, которые использует Яндекс.
🟣Путь спутникового снимка до его появления в Яндекс.Картах.
🟣Имплементация low-code- и no-code-решений на примере российской IoT-платформы.
🟣Применение GPU для ускорения алгоритмов решения геометрических задач в САПР.
🟣Погружение в управление транзакциями (оптимистичные и пессимистичные блокировки) и безопасность — RBAC, ABAC и OpenID.

Все это ждет вас на докладах, о которых рассказываем сегодня:

1) Анализ кода: символьная виртуальная машина. Георгий Александрия (Positive Technologies)

Глубокий доклад про алгоритмы статического анализа безопасности. Будет интересен не только безопасникам, но и тем, кто любит красивые низкоуровневые решения.

2) Современные механизмы определения параметров устройств в вебе. Евгений Шарамед (Яндекс)

Как Яндекс работает с информацией о вашем устройстве? Все, что вы хотели знать об этом, но боялись спросить — в одном докладе!

3) Взгляд за кулисы Яндекс.Карт: от сырых спутниковых данных до четких изображений. Игорь Орпанен (Яндекс)

Как выглядят исходные данные со спутников, как их готовят в Яндексе и при чем тут рельеф Земли? Все это в докладе Игоря, а также технологии: Cloud Optimized GeoTIFF, Pansharpening, RPC-трансформации и, конечно, бесценный опыт с картой обхода шишек и граблей.

4) Как сделать исполнение low-code прозрачным: опыт большой IoT-платформы. Владимир Плизга (Tibbo Systems)

У вас есть свой DSL, которым оперируют конечные пользователи. На этом DSL можно писать скрипты, и скрипты эти могут быть небыстрыми. Рассказ о том, как дать пользователю инструмент для анализа и улучшения производительности и при этом не потерять в производительности исполнения скрипта.

5) Геометрия на стероидах: практический опыт переноса тяжелых вычислений на GPU при проектировании инженерных сетей. Михаил Лукин (Судо)

Автоматическое проектирование электрических, газовых и других сетей разумно делать на графах. Но есть один нюанс... Чем точнее граф, тем он больше и дольше строится. Михаил расскажет, как для этого использует GPU, шишки, опыт — все, как мы любим. И бонус: ликбез о программировании GPU.

6) Аспект DDD и GraphQL в задачах построения высоконагруженных интеграционных систем. Виктор Бирюков (СберТех)

В одном докладе можно сразу почерпнуть, как практически использовать принципы предметно-ориентированного проектирования и принципы GraphQL. При этом подход можно внедрить для разработки и реализации однотипных сервисов, что значительно может снижать расходы на разработку и дальнейшую поддержку.

Ждем вас на Saint HighLoad++ 2025 🖐️

✅ Программа конференции, расписание и билеты на сайте

Масштабируемая система и распределенная в разные дата-центры система — две разные вещи.

Принесли вам записи трех докладов Saint HighLoad++ 2024, в которых тема геораспределенных архитектур впервые в истории конференции раскрыта столь подробно ⤵️

1) Как регулярно терять один ДЦ и не волноваться? Михаил Кабищев.

Михаил рассказал историю о том, как в Ozon превратили крайне неприятную ситуацию падения ДЦ в абсолютно спокойный и предсказуемый для них процесс.

👀VK Видео
👀RUTUBE

2) Геораспределенные системы. Евгений Кузовлев.

Самое сложное в больших проектах — сделать нормально работающий геораспределенный сторадж. В докладе Евгений поделился своим практическим опытом построения геораспределененных систем, а также рассказал всю необходимую теорию (CAP/PACELC) для тех, кто еще не сталкивался с распределенными системами.

👀VK Видео
👀RUTUBE

3) Hadoop в 3 ДЦ. Андрей Коняев.

Петабайтные размеры данных давно перестали быть cutting-edge и их можно встретить в огромном количестве организаций. With great power comes great responsibility — надо делать работу с данными экономически эффективной, а инфраструктуру — надежной и масштабируемой. Из доклада вы узнаете про это.

👀VK Видео
👀RUTUBE

Продуктивного просмотра 🙌