Если бы ваша жизнь была бы языком программирования, то каким?

Ответы участников HighLoad++ 2024 в этом видео. А как ответили бы вы? Напишите в комментариях ⤵️

Миграция — всегда очень сложная задача для любых сущностей и систем. Но если мигрируемые сущности связаны, всё окончательно превращается в невыполнимую задачу.

Как же всё-таки её выполнить и переехать на новое решение, рассказал техлид в K2 Cloud (ex Облако КРОК) Владислав Одинцов. Ведь они смогли смигрировать все инфраструктуры клиентов облака в 3 Availability Zoneах в новый SDN «на лету», решить проблемы производительности и открыть дорогу новым фичам в сети.

✅ Подробности в статье

Узнать, как построить систему, которая в реальном времени обновляет данные и позволяет работать с разными версиями данных. Сделать ретроспективу от самых первых шагов и базовых сценариев использования Kafka до построения большой геораспределённой системы на примере реальных проектов, включая все подводные камни, набитые шишки и грабли. Окунуться в архитектуру RabbitMQ, посмотреть, где с легкостью можно ошибиться и потерять сообщения, и как себя от этого застраховать.

Всё это вас ждёт на докладах из секции «Архитектура», о которых рассказываем сегодня ⤵️

1) А давайте построим систему индексации данных: с чего начать, на какие грабли наступить и к чему прийти, чтобы она заработала. Александр Пархоменко (2ГИС)

Перед инженерами 2ГИС стояла задача драматически, с часов до минут, сократить время обновления поискового индекса. В своем докладе Александр поделится, как они справились с этой задачей, а ещё сделали свою систему устойчивой к отказу любого из компонентов.

2) Глубокое погружение в архитектуру Kafka: от простых сценариев до геокластера. Андрей Комягин (STM Labs)

Успешный, высоконагруженный проект, охватывающий всю страну. Без какого инструмента в нем не обойтись? Подсказка: австрийский писатель ХХ века. Конечно, Kafka! Андрей расскажет про фичи, позволившие добиться результата, копнет внутрь, приведет бенчмарки и покажет, как строить геокластер.

3) Как правильно готовить RabbitMQ — 8 практических кейсов. Виктор Михайлов (Garage Eight)

Глубокое погружение в мир RabbitMQ. Разберем практические кейсы конфигурирования, поудивляемся, поспорим, а может, и похоливарим.

Встречаемся 23 и 24 июня в Санкт-Петербурге на профессиональной конференции разработчиков высоконагруженных систем Saint HighLoad++ 2025, присоединяйтесь к нам 🖐️

✅ Посмотреть уже принятые доклады и забронировать билет можно на сайте

Базы данных и системы хранения — это одна из важнейших частей множества высоконагруженных систем. Их правильный выбор и оптимизация могут существенно повысить производительность, надежность и масштабируемость ваших проектов.

На докладах секции «Базы данных и системы хранения» вы погрузитесь в ключевые аспекты разработки высоконагруженных систем. Узнаете о современных подходах к архитектуре баз данных, шардированию, векторному поиску и аналитике. Получите практические знания о масштабировании и резервировании.

Первая часть докладов секции ⤵️

1) Эволюция архитектуры баз данных. Владимир Комаров (СберТех)

Почему современные промышленные СУБД такие, какие они есть? Существует ли идеальная база данных, и какой она могла бы быть? Свою версию ответов на эти вопросы представит в своём докладе Владимир.

2) Про избыточность WAL в Postgres. Андрей Бородин (Yandex Cloud)

Всё, что вы хотели знать про WAL-логи, но боялись спросить. Глубокий нырок в тему от признанного гуру PostgreSQL — Андрея!

3) Собственный S3-сервер — проблемы построения стабильного хранилища на нестабильном основании. Максим Харитонов (Ozon)

В 2024 году Ozon полностью перенес свою инфраструктуру объектного хранилища на собственное решение S3-server Lusca. Максим расскажет, как они выбирали хранилище индекса; думали, как реализовать strong consistency на eventual consistency-базе; открывали для себя особенности фоновых процессов ScyllaDB и придумывали свои алгоритмы. А еще о том, как боролись с восстанием зомби на Хэллоуин и воскрешали терабайты случайно удаленных данных.

🖐️ Ждём вас 23 и 24 июня в Санкт-Петербурге на профессиональной конференции разработчиков высоконагруженных систем Saint HighLoad++ 2025 .

✅ Программа и билеты на сайте

Давайте попробуем развеять или подтвердить ещё один миф. О том, что существует «волшебный инструмент», способный генерировать производительный и безопасный код для работы с базой данных.

Cluster Lead в Uzum Market Евгений Конечный рассказал, как писать SQL-запросы, чтобы получить производительный, корректный и типобезопасный код на Go. Как облегчить боль при работе с БД и сберечь нервы разработчика за счет кодогенерации с помощью SQLC.

Подробности в статье 📝

DevOps и SRE инженер: в чем разница и что выбрать? Обсудили тему в этом выпуске подкаста ⤵️

#подкастHighLoadConf

Сегодня поговорим о том, как сделать управление жестами, используя только камеру и всего две статичные картинки, чтобы предсказать движение.

Техлид команды R&D компьютерного зрения SberDevices Александр Нагаев рассказал, как они балансировали между качеством, объемом, уникальностью и расовой принадлежностью при сборе данных. Как небольшое исследование внутри российской компании стали использовать большие мировые корпорации (Intel, Google). И как State-of-the-Art-решения в области распознавания жестов находят применение в различных устройствах: от кофеварки до сложных систем в робототехнике.

➡️ Подробности в статье

Сегодня рассказываем о докладах из секции «BigData и инфраструктура машинного обучения (data engineering)», которые будут особенно интересны:

- как командам, плотно работающим с ClickHouse, так и тем, кто только стоит на стадии выбора архитектуры;
- Data-инженерам и архитекторам аналитических решений;
- специалистам, работающим с высоконагруженными системами, которым важно обеспечить надежную репликацию данных и минимизировать нагрузку на источники.

1) ClickHouse без боли. Наш опыт рефакторинга легаси кластера и эффект внедрения шардгрупп. Михаил Филимонов (Magnit OMNI)

Михаил поделится вредными советами по работе с ClickHouse, расскажет про внедрение шардгрупп и поделится результатами первого квартала.

2) Trino как основа Big Data ETL фреймворка. Антон Стеблянко (X5 Tech)

Наверное, уже все слышали про Trino, но вряд ли кому приходило в голову использовать его в качестве ETL инструмента. Из доклада вы узнаете, что такой подход работает даже на масштабах X5, и, более того, дает значительную экономию в ресурсах.

3) Debezium + Kafka = любовь, как организовать cdc и не расплескать ничего по дороге. Евгений Прочан (Magnit OMNI)

Как импортировать только новые данные из более чем 16 типов баз? Как обеспечить надежный observability всего этого и не мешать основной работе систем? Евгений расскажет, как они в DWH Magnit OMNI используют Debezium, его возможности: инкрементальные снапшоты, хардбиты, сигналы и кое-что еще.

Встречаемся 23 и 24 июня в Санкт-Петербурге на Saint HighLoad++ 2025, присоединяйтесь к нам 🖐️

✅ Программа конференции и билеты на сайте

⚡Чем ближе конференция, тем выше стоимость.

С 1 апреля билеты на Saint HighLoad++ 2025 станут дороже. Успейте забронировать билет заранее, чтобы зафиксировать текущую стоимость, оплатить можно будет в течение нескольких дней после брони.

🔥 23 и 24 июня на одной площадке в Петербурге вновь соберутся сильнейшие разработчики highload-систем. Мы будем обсуждать самые актуальные темы индустрии, обмениваться знаниями о технологиях, позволяющих одновременно обслуживать многие тысячи и миллионы пользователей, разбирать реальные кейсы с решением конкретных задач. И, конечно, очень много общаться в своей тусовке и завязывать полезные знакомства.

Присоединяйтесь к нам 🙌

Забронировать билет до повышения цены можно на сайте

Разобраться, чем отличается интеграция SDN в облако и SDN в систему виртуализации, почему разработка «механизма» сложнее, чем разработка «политики». Узнать про новую версию Feature Store и минусы прошлого решения. Послушать про опыт балансировки нагрузки в высоконагруженных приложениях. Всё это вас ждёт на докладах из секции «Архитектура», о которых рассказываем сегодня:

1) OVN: интегрируем готовый SDN в платформу виртуализации. Дмитрий Скорых (Orion soft)

Любой IaaS строится на трёх китах — вычисления, хранилище и сеть. Приходите на доклад Дмитрия узнать об опыте внедрения одного из популярных SDN и о возникающих в процессе подводных камнях.

2) Архитектура факторов ранжирования в runtime поиска Ozon. Лев Саськов (Ozon)

В докладе будет представлен взгляд на модели и фичи под неожиданным углом — будет выделено нечто общее между этими именованными функциями. Кроме того, вам будет представлена новая архитектура ранжирования, которая, значительно ускоряет время создания новых факторов поиска Ozon.

3) Как мы балансируем нагрузку внутри Яндекс Мессенджера. Никита Звонарев (Яндекс 360)

Хотите знать, как эффективно балансировать нагрузку в сотни тысяч пользовательских сообщений в секунду? А может, хотите воспроизвести алгоритм такой балансировки в своей инфре? В обоих случаях — вам сюда.

🖐️ Ждём вас на профессиональной конференции разработчиков высоконагруженных систем Saint HighLoad++ 2025.

✅ Посмотреть программу конференции и забронировать билет можно на сайте

Заказывать разработку или делать самим — классическая проблема, у которой, к сожалению, нет классического решения.

Тимлид в X5 Digital Данила Федюкин рассказал, как подходить к этой задаче, чтобы достигнуть положительного результата для всех типов клиентов и при этом без колоссальных затрат на инфраструктуру для ML. Про разные «подводные камни» и про то, как учесть изменчивость интересов пользователей и извлечь пользу из плохой модели.

✅ Подробности в статье

Valkey — СУБД класса NoSQL с открытым исходным кодом, с активной командой разработки. Сейчас один из главных конкурентов Redis.

Давайте разберём его последние патчи, которые были призваны улучшить производительность в сравнении с версией 7. 2. Подробно с бенчмарками, оценим их позитивные, а местами и негативные эффекты на производительность. И рассмотрим интересные нюансы бизнес-моделей в Open Source-проектах на примере Redis, которые ограничивают продукт и подтверждают необходимость форков.

Техническими подробностями поделился активный член комьюнити Valkey, разработчик Managed Databases в Yandex Cloud Евгений Дюков: https://habr.com/ru/companies/oleg-bunin/articles/893680/