Принесли вам много видео по разным инструментам, которые мы используем в работе. Наш программный комитет особенно отметил интересные бенчмарки. Местами методология спорная, но интересно!


рубрика #ПКрекомендует ознакомиться

Многие компании продолжают использовать устаревшие системы, сталкиваясь с проблемами масштабирования, высокой стоимостью и сложностью поддержки.

Алексей Демьянов, тимлид DevOps-команды «Фланта» рассказал, как они перевели пачку высоконагруженных новостных сайтов на базе Drupal 8 в Kubernetes. Как это помогло увеличить перформанс, сэкономить на инфраструктуре и защититься от DDoS ⤵️

Подробности в статье

Рекомендуется тем, кто любит много технологий ⤵️

История создания банковского продукта «Риалтайм-конфигуратор маркетинговых предложений» на Flink, Tarantool, Kafka, PostgreSQL, Scala, Java, Lua. Поговорим о том, как на больших масштабах правильно принимать решения, технологии и справляться с рисками и интеграционными проблемами.

Формированием офферов финансовых продуктов в реальном времени поделятся Владимир Ловцов и Владимир Аврамов из «ИТ-холдинга Т1» https://habr.com/ru/companies/oleg-bunin/articles/875228/

Если бы ваша жизнь была бы языком программирования, то каким?

Ответы участников HighLoad++ 2024 в этом видео. А как ответили бы вы? Напишите в комментариях ⤵️

Миграция — всегда очень сложная задача для любых сущностей и систем. Но если мигрируемые сущности связаны, всё окончательно превращается в невыполнимую задачу.

Как же всё-таки её выполнить и переехать на новое решение, рассказал техлид в K2 Cloud (ex Облако КРОК) Владислав Одинцов. Ведь они смогли смигрировать все инфраструктуры клиентов облака в 3 Availability Zoneах в новый SDN «на лету», решить проблемы производительности и открыть дорогу новым фичам в сети.

✅ Подробности в статье

Узнать, как построить систему, которая в реальном времени обновляет данные и позволяет работать с разными версиями данных. Сделать ретроспективу от самых первых шагов и базовых сценариев использования Kafka до построения большой геораспределённой системы на примере реальных проектов, включая все подводные камни, набитые шишки и грабли. Окунуться в архитектуру RabbitMQ, посмотреть, где с легкостью можно ошибиться и потерять сообщения, и как себя от этого застраховать.

Всё это вас ждёт на докладах из секции «Архитектура», о которых рассказываем сегодня ⤵️

1) А давайте построим систему индексации данных: с чего начать, на какие грабли наступить и к чему прийти, чтобы она заработала. Александр Пархоменко (2ГИС)

Перед инженерами 2ГИС стояла задача драматически, с часов до минут, сократить время обновления поискового индекса. В своем докладе Александр поделится, как они справились с этой задачей, а ещё сделали свою систему устойчивой к отказу любого из компонентов.

2) Глубокое погружение в архитектуру Kafka: от простых сценариев до геокластера. Андрей Комягин (STM Labs)

Успешный, высоконагруженный проект, охватывающий всю страну. Без какого инструмента в нем не обойтись? Подсказка: австрийский писатель ХХ века. Конечно, Kafka! Андрей расскажет про фичи, позволившие добиться результата, копнет внутрь, приведет бенчмарки и покажет, как строить геокластер.

3) Как правильно готовить RabbitMQ — 8 практических кейсов. Виктор Михайлов (Garage Eight)

Глубокое погружение в мир RabbitMQ. Разберем практические кейсы конфигурирования, поудивляемся, поспорим, а может, и похоливарим.

Встречаемся 23 и 24 июня в Санкт-Петербурге на профессиональной конференции разработчиков высоконагруженных систем Saint HighLoad++ 2025, присоединяйтесь к нам 🖐️

✅ Посмотреть уже принятые доклады и забронировать билет можно на сайте

Базы данных и системы хранения — это одна из важнейших частей множества высоконагруженных систем. Их правильный выбор и оптимизация могут существенно повысить производительность, надежность и масштабируемость ваших проектов.

На докладах секции «Базы данных и системы хранения» вы погрузитесь в ключевые аспекты разработки высоконагруженных систем. Узнаете о современных подходах к архитектуре баз данных, шардированию, векторному поиску и аналитике. Получите практические знания о масштабировании и резервировании.

Первая часть докладов секции ⤵️

1) Эволюция архитектуры баз данных. Владимир Комаров (СберТех)

Почему современные промышленные СУБД такие, какие они есть? Существует ли идеальная база данных, и какой она могла бы быть? Свою версию ответов на эти вопросы представит в своём докладе Владимир.

2) Про избыточность WAL в Postgres. Андрей Бородин (Yandex Cloud)

Всё, что вы хотели знать про WAL-логи, но боялись спросить. Глубокий нырок в тему от признанного гуру PostgreSQL — Андрея!

3) Собственный S3-сервер — проблемы построения стабильного хранилища на нестабильном основании. Максим Харитонов (Ozon)

В 2024 году Ozon полностью перенес свою инфраструктуру объектного хранилища на собственное решение S3-server Lusca. Максим расскажет, как они выбирали хранилище индекса; думали, как реализовать strong consistency на eventual consistency-базе; открывали для себя особенности фоновых процессов ScyllaDB и придумывали свои алгоритмы. А еще о том, как боролись с восстанием зомби на Хэллоуин и воскрешали терабайты случайно удаленных данных.

🖐️ Ждём вас 23 и 24 июня в Санкт-Петербурге на профессиональной конференции разработчиков высоконагруженных систем Saint HighLoad++ 2025 .

✅ Программа и билеты на сайте

Давайте попробуем развеять или подтвердить ещё один миф. О том, что существует «волшебный инструмент», способный генерировать производительный и безопасный код для работы с базой данных.

Cluster Lead в Uzum Market Евгений Конечный рассказал, как писать SQL-запросы, чтобы получить производительный, корректный и типобезопасный код на Go. Как облегчить боль при работе с БД и сберечь нервы разработчика за счет кодогенерации с помощью SQLC.

Подробности в статье 📝

DevOps и SRE инженер: в чем разница и что выбрать? Обсудили тему в этом выпуске подкаста ⤵️

#подкастHighLoadConf

Сегодня поговорим о том, как сделать управление жестами, используя только камеру и всего две статичные картинки, чтобы предсказать движение.

Техлид команды R&D компьютерного зрения SberDevices Александр Нагаев рассказал, как они балансировали между качеством, объемом, уникальностью и расовой принадлежностью при сборе данных. Как небольшое исследование внутри российской компании стали использовать большие мировые корпорации (Intel, Google). И как State-of-the-Art-решения в области распознавания жестов находят применение в различных устройствах: от кофеварки до сложных систем в робототехнике.

➡️ Подробности в статье

Сегодня рассказываем о докладах из секции «BigData и инфраструктура машинного обучения (data engineering)», которые будут особенно интересны:

- как командам, плотно работающим с ClickHouse, так и тем, кто только стоит на стадии выбора архитектуры;
- Data-инженерам и архитекторам аналитических решений;
- специалистам, работающим с высоконагруженными системами, которым важно обеспечить надежную репликацию данных и минимизировать нагрузку на источники.

1) ClickHouse без боли. Наш опыт рефакторинга легаси кластера и эффект внедрения шардгрупп. Михаил Филимонов (Magnit OMNI)

Михаил поделится вредными советами по работе с ClickHouse, расскажет про внедрение шардгрупп и поделится результатами первого квартала.

2) Trino как основа Big Data ETL фреймворка. Антон Стеблянко (X5 Tech)

Наверное, уже все слышали про Trino, но вряд ли кому приходило в голову использовать его в качестве ETL инструмента. Из доклада вы узнаете, что такой подход работает даже на масштабах X5, и, более того, дает значительную экономию в ресурсах.

3) Debezium + Kafka = любовь, как организовать cdc и не расплескать ничего по дороге. Евгений Прочан (Magnit OMNI)

Как импортировать только новые данные из более чем 16 типов баз? Как обеспечить надежный observability всего этого и не мешать основной работе систем? Евгений расскажет, как они в DWH Magnit OMNI используют Debezium, его возможности: инкрементальные снапшоты, хардбиты, сигналы и кое-что еще.

Встречаемся 23 и 24 июня в Санкт-Петербурге на Saint HighLoad++ 2025, присоединяйтесь к нам 🖐️

✅ Программа конференции и билеты на сайте