Если вы заинтересованы в апгрейде своего резюме и будете на Saint HighLoad++ 2025 — этот пост для вас ⚡

На конференции вас ждет специальная активность – «Резюме глазами HR», на которой профессиональный HR-эксперт разберет реальные резюме и расскажет:

- как выглядит резюме глазами рекрутера и HR;
- как работают российские агрегаторы, алгоритмы HH.RU.

Для этого нам требуются настоящие профессиональные резюме в качестве кейсов для разбора. Все резюме будут обезличены. Также мы можем скрыть какие-то конкретные блоки по запросу.

Участники, чьи резюме будут выбраны, получат ценные комментарии, которые помогут улучшить данные документы 😉

📍Активность пройдет 23 июня на Демо-сцене, начало в 19:20.

✉️ Если хотите принять участие — отправляйте резюме в лс: @liza0lis

До встречи 🖐️

В этом видео Александр Крылов приглашает вас на свой доклад на Saint HighLoad++ 2025 🖐️

У нас не задеплоилось с первого раза, давайте влепим кол инфраструктуре. А то, что мы криво поставили переменные пода — это не к нам, это к DevOps. Часто ли вы такое слышали от разработчиков, тестировщиков или поддержки? Как сделать доказательную базу того, что с инфраструктурой все хорошо, а проблема в коде?

Приходите за ответами на доклад Александра «Метрики удовлетворенности инфраструктуры. Понять и простить или отпустить?»

Доклад — расследование вопросов, связанных с обвешиванием метриками всего, что можно обвешать. Будет интересен всем, кто пытается понять, как померить эффективность процессов на разных уровнях, где работает, а где лучше не надо.

Встречаемся уже через 2 недели в Санкт-Петербурге, присоединяйтесь к нам 🙌

✅ Посмотреть всю программу конференции и купить билет можно на сайте

Как связаны скидки, пользовательские пути и петабайты данных в Яндекс Рекламе?

Максим Стаценко работает в Яндексе в DWH поиска и рекламы. Он рассказал о том, как они смогли отказаться от сотен тяжелых Join'ов и MapReduce в пользу Stateful Streaming и Key-Value Storage. Как построили систему, которая обрабатывает миллион запросов в секунду, хранит всю историю событий в одном месте и позволяет быстро находить нужные данные для антифрода и аналитики, даже когда цепочка событий растягивается на 100 дней.

Подробности в статье ✅

На Saint HighLoad++ 2025 приходите на следующие доклады из секции «BigData и инфраструктура машинного обучения (data engineering)», чтобы обсудить преимущества и ограничения Spark, познакомиться с аспектами MLOps-архитектуры для запуска рекомендательных сценариев, разобрать адаптацию классического MLOps для LLM-проектов, узнать, как устроен стриминг в ОК. А также послушать, как в X5 построили отказоустойчивый, масштабируемый и полностью open source-стек, и о том, как устроены хранение и обработка агрегированных знаний о клиенте в МТС.

1) Spark: один для всего? Искандер Фахрутдинов (Ozon)

Спикер много лет изучал исходный код Spark и поделится своим мнением о подходах, которые лежат в основе модели вычислений платформы. Он расскажет о том, как понимание единой модели вычислений Spark позволяет писать запросы лучше и о том, что предлагают смежные фреймворки.

2) MLOps-архитектура рекомендательной платформы. Деннис Хассан (Сбер)

Спикер расскажет, как они выстроили cloud-native-инфраструктуру, ускоряющую запуск персонализированных сценариев, и какие инструменты использовались — от Feature Store до онлайн-моделей.

3) LLMOps: адаптация классических практик MLOps для разработки и деплоя LLM-решений. Игорь Терехин (Napoleon IT)

Игорь часто выступает с темами про MLOps и рассказывает о том, как в реальности выглядит работа с ML в компаниях небольшого размера. В этом докладе он сделает основной фокус на практике деплоя и ежедневной работы с большими языковыми моделями: лучшие практики того, что он делает для разных клиентов.

4) Приключение на 20 минут: проблемы и патчи, возникшие при обновлении стриминга ОК. Алина Шестакова (VK)

Доклад строится вокруг проблемы наличия старого компонента в архитектуре. Непростой путь, полный вопросов, проблем и поиска решений в условиях постоянного хайлоада.

5) Pipeline real-time-аналитики цепочек поставок в X5 на основе Debezium CDC, Flink и Apache Iceberg. Иван Смольянинов (X5 Group)

Захватывающий доклад о том, как собрать аналитические данные из более чем 80 разбросанных по всей стране огромных складов. Все бы ничего, но там далеко не всегда стабильный и широкий канал, нет возможности доставить оборудование, а версии ПО заметно разнятся.

6) Как мы в МТС создали единый экосистемный профиль клиента. Евгений Ненахов (MWS (МТС Web Services))

Как объединить разрозненные данные клиентов экосистемы? МТС Big Data агрегирует операционные, аналитические и прогнозные данные в единый профиль. Доклад раскроет структуру его бизнес-модулей, стек технологий и инфраструктуру. А еще будет демо — что на самом деле МТС знает про своих клиентов.

Ждем вас 23 и 24 июня в Санкт-Петербурге на Saint HighLoad++ 2025 🙌

✅ Программа конференции, расписание и билеты на сайте

В наш век повсеместного распространения контейнеров все считают их привычной магией и забывают о том, что они построены на базе самых стандартных технологий, которым не один десяток лет. Особенно это касается организации сетевого взаимодействия. Пора снять завесу тайны с этих технологий и потрогать их руками!

Приходите на воркшоп «Контейнеры и сети. Изучаем, разбираемся, отлаживаем» от Александра Попова и Георгия Меликова (VK, VK Cloud), чтобы разобрать те кирпичики, из которых построены все сети как под K8s, так и под стандартными облаками.

Докладчики имеют большой опыт построения сложных систем. Воркшоп рекомендуется к посещению всем, кто хочет глубоко разобраться в сетях и в тех принципах, что лежат в основе систем контейнеризации.

✋ Будет практика. Настоятельно рекомендуем взять ноутбук.

Ждем вас на Saint HighLoad++ 2025 🖐️

✅ Посмотреть всю программу конференции можно на сайте

Конференция HighLoad++ — это о том, как устроены инструменты, которые мы используем ежедневно. Знание внутрянки инструментов позволяет использовать их с максимальной эффективностью.

🖐️ Принесли вам записи 7 докладов с конференции Saint HighLoad++ 2024, в которых вы погрузитесь во внутрянку баз данных.

1) О распределённых транзакциях. Владимир Комаров

Доклад от автора книги «Путеводитель по базам данных», человека, разбирающегося в предметной области максимально глубоко. На примере конкретных баз данных рассмотрены паттерны распределенных транзакций. Квинтэссенция архитектурного опыта, максимально полезная информация за минимальное время.

VK Видео
RUTUBE

2) YTsaurus SPYT: внедряем Spark SQL в массы. Алексей Шишкин

История от разработчиков YTsaurus о том, как сделать собственный клиент к Spark и на уровне сетевого протокола отправлять к нему запросы из удобного веб-интерфейса.

VK Видео
RUTUBE

3) Как научить MongoDB делать горячие физические бэкапы. Юрий Фролов

История о том, как Яндекс возвращал возможность физических бэкапов в MongoDB. В докладе много подробностей про движок базы, про подход MongoDB к хранению данных и про то, как написать собственную логику бэкапа.

VK Видео
RUTUBE

4) Про UUID v.7. Андрей Бородин

Андрей делает Яндекс.Облако, хорошо разбирается в базах и пишет код, чтобы они работали лучше. В своем докладе он рассказал о патче, который добавляет поддержку UUID в качестве primary key для PostgreSQL. И о том, почему так важно реализовать RFC 7 и 8, а не просто «как-то сгенерировать 16 байт».

VK Видео
RUTUBE

5) Гарантии доставки сообщений в YDB Topics. Александр Зевайкин

Докладчик погрузит вас во внутреннее устройство брокеров сообщений, вы узнаете, как правильно «готовить» exactly-one и какие улучшения для этого типа доставки предлагает YDB Topics относительно Kafka.

VK Видео
RUTUBE

6) Переосмысление Picodata как cluster-first-СУБД. Ярослав Дынников

Ярослав много лет разрабатывал Tarantool, а теперь использует его в создании базы данных Picodata. Он рассказал, зачем бизнесу сейчас нужны распределенные OLTP-решения, как разные продукты реализуют «распределенность» и какими принципами руководствовалась компания, собирая свое решение в 2024 году.

VK Видео
RUTUBE

7) Redis — такой простой и такой сложный! Андрей Комягин

Redis уже давно не является чем-то новым. Каждый использует его немного по-своему и практически каждый думает, что это всё элементарно. Этот доклад покажет, что возможностей и нюансов очень много и, даже если сейчас вам это не понадобится, когда-то пригодится точно.

VK Видео
RUTUBE

Продуктивного просмотра и отличных выходных 🙌

Дмитрий Синявский, SR-инженер в Ви.Tech, приглашает вас на свой доклад «Как добыть SLO: источники и инструменты гномов SREдней полосы», с которым он выступит на Saint HighLoad++ 2025.

В этом видео он поделился, о чем вы узнаете и что получите, если придете послушать 😉

На следующие 5 докладов из секции «Базы данных и системы хранения» особое внимание советуем обратить:

- разработчикам информационных систем на основе СУБД;
- инженерам и DBA, которые сталкиваются с задачами миграции больших объемов данных, решардирования и минимизации downtime;
- Backend-инженерам, особенно тем, в стеке которых есть PostgreSQL;
- архитекторам, SRE-специалистам, инженерам;
- системным программистам. ⤵️

1) Пределы масштабирования дисковой СУБД Сокол. Андрей Коротченко (РЕЛЭКС)

Из доклада вы узнаете, как дисковая СУБД Сокол, реализованная на неблокирующих подходах, справляется с высокими нагрузками и масштабированием. А также сравните ее возможности с другими системами.

2) Как мы без downtime шардировали и мигрировали MongoDB на 20 ТБ. Иван Перевощиков (Авито)

Рассказ о типовой ситуации в большом бизнесе, когда команде приходится решать несколько задач одновременно: переезд базы в Kubernetes для запаса по нагрузке, решардирование со сменой ключа и все это без даунтайма. Спикер покажет, какие инструменты выбрали, как доработали и что получилось.

3) Эволюция PostgreSQL-хранилища размещений в Авито. Евгений Константинов (Авито)

Инженеры Авито делятся опытом масштабирования базы для размещений объявлений — фактически гигантского упорядоченного «лога» с метаинформацией и со сложной логикой обновления. Отчасти ретроспективный доклад о том, какие оптимизации использовали и к чему пришли в результате.

4) Собственное файловое хранилище для 350 Пбайт видеоконтента. Эдгар Воскресенский (RUTUBE)

В докладе раскрывается устройство хранилища видеоконтента RUTUBE с глубокими деталями реализации, архитектурными решениями и цифрами реальной нагрузки. Докладчик делится практическим опытом эксплуатации хранилища и адаптации под хранение видео.

5) SPDK под капотом: лезем внутрь дисковой подсистемы в user-space. Василий Иванов (MWS (МТС Web Services))

SPDK используют Alibaba, nVidia и другие компании, разрабатывающие свои облака. Доклад Василия — это история о том, как SPDK на масштабах МТС проседал по производительности, когда клиентов становилось особенно много. И о том, как компания сделала собственный форк, часть наработок которого уже передана в апстрим.

До скорой встречи на Saint HighLoad++ 2025 🖐️

✅ Программа конференции, расписание и билеты на сайте

В этом видео Дмитрий Ларионов приглашает вас на свой доклад «Как мы переписали аутентификацию в микросервисной платформе»

Дмитрий расскажет про перевод платформы партнерских отношений МТС с устаревшего корпоративного SDK и корпоративного агента SSO на OAuth2/ OIDC с рефакторингом всей внутренней архитектуры безопасности. Некоторые подробности узнайте, послушав видео 😉

Ждем вас на Saint HighLoad++ 2025 🙌

✅ Полная программа конференции и расписание на сайте

В этой статье никакой воды, только хардкор: как устроена доставка защищенного видео в современных CDN, почему HTTPS — это не просто галочка, и как выжать максимум из железа и протоколов. Под капотом — KTLS, Zero-copy, оптимизация CPU и настоящие инженерные лайфхаки, проверенные на сотнях тысяч RPS.

🖐️ Кирилл Шваков из Kinescope делится реальным опытом разгона Go TLS

Три доклада из секции «Безопасность», которые вам нужно послушать, если:

✔️ вы стремитесь модернизировать подходы к аутентификации, снизить риски утечек данных и соответствовать современным стандартам;
✔️ хотите узнать опыт, как удалось пересобрать SIEM-систему, чтобы обрабатывать больше 2 млн событий в секунду и хранить суммарно больше 10 петабайт данных в сжатом виде;
✔️ хотите разобрать 3 ключевых принципа, которые помогают создавать безопасные, но человечные интерфейсы. ⤵️

1) Passwordless в PAM: миф или реальность? Артём Назаретян (БИЗон)

История о том, как профессиональные безопасники делают надежную аутентификацию в большой компании со множеством различных сервисов и требований.

2) Потоковый коррелятор для обработки более 2 млн EPS. Андрей Борисов, Алексей Киселев (VK)

Доклад описывает создание высокопроизводительного коррелятора событий для SIEM на базе FlinkCEP и собственного DSL, который обходит лимиты готовых решений и достигает 1M EPS уникальных событий при ~100 правилах на 720 vCPU.

3) Темные паттерны безопасности: когда защита мешает пользователю. Артем Бачевский, Наталья Проценко (Солар)

Вы создаете сервис и комплексно подумали о безопасности. И даже со стороны пользователя предусмотрели регулярные разлогинивания, поставили CAPTCHA, написали миллион предупреждений. Увы, вы все могли сделать не так. Возможно, этот доклад поможет вам сделать сервис более безопасным и дружелюбным.

До скорой встречи на Saint HighLoad++ 2025 ⚡

✅ Полная программа конференции и расписание на сайте

Понять механизмы работы современных технологий автопрома и их влияния на безопасность, а еще узнать, как трансформируется индустрия космических дата-центров, — вы сможете на докладах из секции «Технологии будущего», о которых рассказываем сегодня:

1) Как автомобильные инженеры устроили техническую гонку между собой, но забыли про пользователей. Илья Стариков (MWS (МТС Web Services))

Современный автомобиль, да и другие средства передвижения — это распределенная архитектура. У нее есть фронтенд, есть бэкенд, механическая составляющая, и есть интерфейс взаимодействия. Доклад посвящен развитию автомобиля как информационной системы.

2) Почему в космосе (пока) нет дата-центров. Александр Токарев (Voxys)

Космос: такой далекий и одновременно близкий. Послушаем про актуальные задачи при размещении вычислительного оборудования не только на Земле: связь, тепло, питание и не только.

Ждем вас на Saint HighLoad++ 2025 🙌

✅ Программа конференции и расписание на сайте

Владимир Плизга, ведущий бэкенд-инженер в команде разработки AggreGate, приглашает вас на свой доклад «Как сделать исполнение low-code прозрачным: опыт большой IoT-платформы»

В этом видео Владимир поделился, о чем он расскажет и кому доклад особенно будет полезен, послушайте 😉

Проектирование долгоживущего высоконагруженного приложения. Шардирование высоконагруженного сервиса клиентских данных. Построение системы, которая выдерживает 10K+ запросов в день и выдает саммари за 5–15 минут. Возможности, которые появляются в результате применения AnyCast поверх Overlay-туннелей в связке с российскими криптошлюзами. Реальный архитектурный путь от сбора и постановки требований до работающей системы…

— все это вы найдете в докладах из секции «Архитектура» ⤵️

1) Как выбрать технологии для высоконагруженного проекта и не привлечь внимание санитаров. Дмитрий Кривопальцев, Вадим Клеба (Яндекс 360)

Можно ли писать современные HL- и HA-проекты на Python, Ruby или PHP? Или же теперь мы никогда не вынырнем из Golang, Java и Rust? А что там с базами? PostgreSQL ли единой...

2) Шардирование БД на уровне балансировщика. Николай Прокофьев (Т-Банк)

Хотите знать, как Т-Банк шардирует большие данные? Да еще решардит без даунтаймов, и все это в 3 ДЦ! Приходите на доклад Николая!

3) Автоматическая суммаризация 10K встреч в день: от требований к продакшн-решению. Азер Шахвердиев (Контур)

Из доклада вы узнаете, как реализуется одна из фич, значительно упрощающих жизнь сотрудников, про ее архитектуру, с фокусом на ML-составляющие и ее интеграцию в большой прод.

4) Как «подружить» Anycast-маршрутизацию в ЦОД с ГОСТ-криптошлюзами. Илья Кондратьев (VK)

Большинство криптошлюзов несовместимо с Anycast, и это становится проблемой для привычной и удобной топологии дата-центра. Спикер расскажет, какие варианты рассматривала команда, почему выбрали AnyCast поверх Overlay-VPN, и как решение зарекомендовало себя в распределенной сети ЦОД.

5) Как бизнес-требования диктуют архитектуру: эволюция сервиса уведомлений в Lamoda Tech. Алексей Ситка (Lamoda Tech)

Качественный и отличный пример того, как не скатиться в оверинжиниринг, но развивать архитектуру вслед за изменениями бизнес-требований на конкретном примере.

До скорой встречи на Saint HighLoad++ 2025 ⚡

✅ Расписание конференции на сайте