Давайте вспомним об устройстве сетевой подсистемы Linux. Как в ней на большой нагрузке перехватывать и обрабатывать трафик через eBPF без полной перестройки движения трафика. Ведь всегда приятно иметь возможность улучшения через дополнение, а не через полную замену существующей схемы.

Старший разработчик в команде сетевых функций облака Selectel Александр Шишебаров рассказал, как они использовали eBPF для перехвата и декапсуляции VXLAN-пакетов прямо в ядре без значительных изменений в архитектуре системы. Причем с корректным сбором статистики.

✅ Подробности в статье

Понять принципы балансировки в интернете, осознанно применять их и реализующие их сервисы для своих веб-ресурсов. Сфокусироваться на архитектурных решениях для RAG-систем, где чанкинг становится узким местом при масштабировании. Узнать, как разработать гибкую и производительную систему с микросервисной архитектурой, позволяющую извлекать видеопоток с десятков камер по RTSP.

Все это вы сможете, послушав следующие доклады из секции «Архитектура» ⤵️

1) Глобальная балансировка веб-ресурсов по геораспределенной инфраструктуре. Дмитрий Криков (NGENIX)

Извечная проблема эффективной балансировки, как найти баланс между гибкостью, универсальностью и скоростью переключения? Опыт эксперта, интересные инсайды из практики.

2) Архитектура высоконагруженных RAG-систем: 10 стратегий оптимизации чанкинга и интеграция с Weaviate, Qwen и Llama. Андрей Носов (Raft)

В докладе обсуждаются архитектурные решения для построения RAG-систем, включая 10 стратегий оптимизации чанкинга, выбор векторной БД, оптимизацию пайплайнов для работы с LLM, кэширование чанков и эмбеддингов для снижения задержек и методы повышения точности при работе с большими данными.

3) Как разработать видеоаналитику для онлайн-потока, не имея ресурсов IT-гигантов. Даниил Блинов (СИБУР Цифровой)

Анализ онлайн-видеопотока процессов производства и соблюдения техники безопасности с немедленным аллертингом. Про реализацию этого на заводах СИБУР расскажет Даниил. А также о том, как это сделать при отсутствии GPU, без доступа к облакам, применяя более 40 моделей computer vision.

🖐️ Ждем вас на профессиональной конференции разработчиков высоконагруженных систем Saint HighLoad++ 2025.

✅ Программа конференции и билеты на сайте

⚡️Чем ближе конференция, тем выше стоимость.

С 1 мая билеты на Saint HighLoad++ 2025 станут дороже. Успейте забронировать билет заранее, чтобы зафиксировать текущую стоимость, оплатить можно будет в течение нескольких дней после брони.

🔥 На Saint HighLoad++ 2025 вас ждет концентрация практического опыта, которая значительно отличается от программы прошлого года как по техническому содержанию, так и по глубине погружения в реальные кейсы. Инвестируя свое время в посещение конференции, вы получите знания, которые помогут не только решать текущие проблемы, но и подготовиться к вызовам будущего, многие из которых уже становятся реальностью в передовых компаниях отрасли.

Присоединяйтесь к нам 🙌

✅ Забронировать билет до повышения цены можно на сайте

⚡Через 3 часа начнется круглый стол для СТО и IT-директоров.

В этом видео Артем Елизаров, CTO розничной сети МТС, приглашает вас на круглый стол, посвященный личной эффективности СТО, который пройдет сегодня в онлайн-формате:

📅 22 апреля
⏰ в 17:00 (мск)

Обсудим лучшие практики, делегирование и развитие soft skills.

Если тема для вас актуальна — присоединяйтесь, будет точно полезно и интересно!

✅ Участие бесплатное, но необходима предварительная регистрация

Филипп Бочаров, руководитель платформы наблюдаемости и мониторинга для более 400 продуктов экосистемы МТС, и Юлия Тальцкова, ведущий инженер сервиса логирования и кластеров Open Search с более 400 терабайтами логов клиентов, рассказали про эволюцию системы логирования через поле, усыпанное граблями, до нагруженного production-сервиса.

➡️ Про то, как им удалось переписать критичный и высоконагруженный сервис логирования и перестать просыпаться от ночных звонков и даже иногда уходить в отпуск, можно прочитать в статье

Если вы проверяете свои приложения на уязвимости или стремитесь улучшить защиту своих систем от бинарных угроз — тогда обратите внимание на следующие два доклада из секции «Безопасность» ⤵️

1) Источники данных для фаззинга API веб-приложений. Всеволод Дергунов (Positive Technologies)

Если вы осознаете проблему источника данных для фаззинга — этот доклад для вас! А если не осознаете — все равно приходите, осознаете 😉

2) Бесконечная война в памяти: безопасность без тормозов. Сергей Игнатов (Независимый исследователь, аспирант ИСП РАН)

Хочется, чтобы было и безопасно, и быстро. Но как получить все и обойтись без жертв? Послушаем продолжение темы про безопасность памяти от лица эксперта, нырнув максимально глубоко по стеку до уровня железа.

Встречаемся 23 и 24 июня в Санкт-Петербурге на профессиональной конференции разработчиков высоконагруженных систем Saint HighLoad++ 2025, ждем вас 🖐️

✅ Программа конференции и билеты на сайте

Железо ненадежно, люди ненадежны, поставщики ненадежны.

Разработка собственных решений — хороший способ контролировать технологические процессы, обеспечить безопасность и повысить эффективность продуктовых команд.

Руководитель отдела облачных решений Wildberries Алексей Чуркин рассказал, как внутри компании построить облачную платформу и какие трудности ждут на этом пути.

✅ Подробности в статье

Цифровая экономика движется вперед — и ваши знания должны успевать за ней.

Представляем Поддерживающую базу знаний Онтико — мощный ресурс для корпораций, команд и экспертов, которые ценят актуальную информацию и эффективные решения.

Для кого это:

✔ Корпорациям, которым важно решать прикладные задачи быстро и профессионально.

✔ Компаниям, стремящимся сохранять экспертизу и передавать знания внутри команды.

✔ Специалистам, которые ищут проверенные данные с фокусом на реальные бизнес-задачи.

Что внутри:

🔹 4000+ видеоматериалов — выступления, разборы, экспертные мнения.

🔹 Свежие материалы — сразу после конференций и мероприятий.

🔹 Тематические гайды — собранные под запросы вашего бизнеса.

🔹 Вебинары и Q&A сессии — инсайты от лидеров индустрии.

Это не просто база — это рабочий инструмент для роста.

📌 Подробнее здесь

Как построить внутреннюю Feature Platform, которая ускоряет внедрение ML-моделей и делает работу с данными прозрачной и управляемой?

Руководитель разработки ML-команд Домклик Алина Баймашева рассказала, какие компоненты и технологии выбирали для обработки данных в офлайн- и онлайн-режиме. Почему решения с открытым исходным кодом не всегда подходят крупным компаниям и с какими сложностями можно столкнуться при проектировании собственной платформы.

✅ Подробности в статье

В сегодняшнем анонсе — доклады из секции «Тестирование». Рекомендуются к прослушиванию инженерам по тестированию, хотя бы раз столкнувшимся с настройкой различных девайсов, и архитекторам распределенных систем, больших продуктов, продактам, QA Architect. Вы узнаете, как создать «умную» инфраструктуру с нуля, и разберетесь, почему исследовательское ручное тестирование в большом продукте — признак мастерства.

1) Лего-стенд: История сборки универсальной тестовой лаборатории из 30+ устройств и метры кабелей. Евгений Деркач (ИнфоТеКС)

Ламповая история о том, как обуздать привычный рутинный хаос, всего лишь изменив к нему подход. Рекомендуется к посещению всем, кто скучает по порядку на рабочем месте.

2) Исследовательское тестирование: как найти бэкапы, которые не восстановятся? Александр Фатин (Postgres Professional)

Мы все любим байки в стиле: «Не ну, вы видели? Видели?!». В докладе Александра их будет целых 4 😉

Ждем вас на Saint HighLoad++ 2025 в Санкт-Петербурге 23 и 24 июня 🖐️

✅ Программа конференции, расписание и билеты на сайте

Go славится конкурентностью «из коробки», но на практике это часто источник не только производительности, но и проблем: гонки, дедлоки, утечки горутин, избыточная сложность.

Как превратить конкурентность из потенциальной ловушки в инструмент для построения эффективных и поддерживаемых приложений, рассказал разработчик бэкенда Почты VK WorkSpace в VK Tech Максим Мирошниченко.

А причем тут Антон Павлович Чехов? Узнаете в статье ✅

У вас настроение «майские» активировано?

😎 — да, это я тот самый коллега
🤔 — это мои коллеги, но не я
🗿 — у меня релиз

Доклады из секции «Аппаратное обеспечение» будут особенно полезны тем, кому интересны новые архитектуры, высокопроизводительные вычисления и низкоуровневые оптимизации приложений AI/ML, AR/VR, CV, HPC. А также инженерам по эксплуатации и обслуживанию серверов, хостинг-провайдерам, техническим директорам и владельцам бизнеса с собственным парком оборудования, инженерам и разработчикам, которые занимаются проектированием серверных решений ⤵️

1) Портируем ML на RISC-V: как не потерять производительность. Ксения Зайцева (YADRO)

Современные архитектурные решения для ML, помимо мощностей ЦПУ, задействуют ресурсы тензорных или графических ускорителей. В итоге производительность упирается в пропускную способность шины, и не всегда перенос вычислений на ускоритель стоит свеч. Ксения расскажет, каким образом эта проблема может быть решена в процессорах на базе архитектуры RISC-V и почему многие эксперты считают ее будущим для ML-приложений.

2) «Ручная» векторизация в 2025 году: когда компилятора недостаточно. Валерия Пузикова (YADRO)

Валерия покажет, что дает «ручная» векторизация на RISC-V и Arm на примере двух широко используемых высокопроизводительных Open Source-библиотек линейной алгебры — Eigen и OpenBLAS. Слушатели поймут, почему автовекторизации не хватает для ускорения приложений AI/ML, AR/VR, CV, HPC. На графиках производительности увидят, далеко ли до roofline и где прячутся compute-bound и memory-bound алгоритмы.

3) От перегрева к успеху: как мы изменили подход к жидкостному охлаждению десктопных процессоров в серверах и превратили спорный продукт в популярное решение. Григорий Прадедов (АО «Юнико»)

Одна из самых больших проблем в области — теплоотведение. Как выжать из формфактора и эффективной упаковки железа по максимуму? Послушаем максимально практичную историю об изготовлении и эксплуатации жидкостного охлаждения для целого флота устройств.

Присоединяйтесь к нам 23 и 24 июня в Санкт-Петербурге на Saint HighLoad++ 2025 🙌

✅ Программа конференции, расписание и билеты на сайте

Представьте: 4000 сервисов, 500 команд, 100 кластеров — и все это нужно перенести на новые Kubernetes-дистрибутивы. Потому что Red Hat ушла и забрала с собой поддержку OpenShift.

Максим Чудновский, лидер по продукту Platform V Synapse Service Mesh СберТех, рассказал хитрый подход к миграции, который позволяет перенести тысячи сервисов и десятки тысяч Yaml-манифестов без правок в коде и конфигурациях.

✅ Узнайте подход в статье

Применение ИИ и ML в высоконагруженных системах становится все более распространенным. В категории «Искусственный интеллект и машинное обучение в высоконагруженных системах» собраны доклады и мастер-класс о практическом применении ML в производственных системах ⤵️

1) Мастер-класс: «Удивительные эмбеддинги — как векторные представления применяются в задачах поиска и рекомендаций». Иван Красников (searchbooster.io)

Как устроена магия эмбеддингов внутри на мастер-классе подробно разбираться не будет, зато участники научатся махать волшебной палочкой! Будут разобраны на практике инструменты, которые позволяют строить и использовать векторные представления для рекомендательных и поисковых данных, даже если вы не Data Scientist.
Подготовительное задание: для экономии времени и снижения рисков поломки интернета необходимо заранее скачать материалы по ссылке (файл будет размещен за 2 недели до даты проведения конференции)

*Эмбеддинги — основа многих современных ML-решений, понимание их применения необходимо для создания эффективных систем.

2) Умный поиск по внутренней базе знаний с использованием LLM: от архитектуры до внедрения. Алексей Болтава (Т-Банк)

История о том, как Т-Банк улучшал поиск по всей внутренней проектной (и не только) информации. Тот случай, когда просто «нормально» — это мало и нужны постоянные улучшения. Рекомендуется тем, кто хочет использовать информацию по полной.

*Практическое применение LLM для корпоративных задач — одна из самых горячих тем в индустрии.

3) Архитектура высоконагруженных RAG-систем: 10 стратегий оптимизации чанкинга и интеграция с Weaviate, Qwen / Llama / Gemma. Андрей Носов (Raft)

В докладе обсуждаются архитектурные решения для построения RAG-системах, включая 10 стратегий оптимизации чанкинга, выбор векторной БД, оптимизацию пайплайнов для работы с LLM, кэширование чанков и эмбеддингов для снижения задержек и методы повышения точности при работе с большими данными.

*RAG-системы становятся стандартным подходом к применению LLM в корпоративных задачах.

4) Эволюция векторного поиска в YDB: от базовых методов к масштабируемому глобальному индексу. Александр Зевайкин (YDB)

Хотите знать, что же такое векторный поиск? Причем здесь ИИ? А как сделать так, чтобы он был быстрым? Как сделать так, чтобы он масштабировался на множество нод? Приходите на доклад Александра о том, как векторный поиск со всеми этими свойствами сделан внутри YDB.

*Векторный поиск — фундаментальная технология для современных ML-систем и рекомендательных сервисов.

5) ML в продакшене: почему аналитикам и бэкенду сложно договориться. Сергей Лавров (Авиасейлс)

Мы пользуемся Aviasales, но понимаем ли мы, по каким принципам нам рекомендуются билеты? Сергей расскажет именно об этом. Как от хороших рекомендаций перейти к лучшим: пример совместного непростого путешествия ML- и бэкенд-команд.

*Огромный отрыв в голосовании показывает высокий интерес к проблеме интеграции ML-решений в рабочие процессы.

Ждем вас на профессиональной конференции разработчиков высоконагруженных систем Saint HighLoad++ 2025 🖐️

✅ Программа конференции, расписание и билеты на сайте

Друзья, в этом посте мы собрали для вас полезные материалы, опубликованные за апрель: статьи, записи докладов и подкасты. На случай, если вы что-то пропустили 😉

📜 Почитать:

У построения высоконагруженных IoT-систем свои нюансы. Там не такой хайлоад, к которому все привыкли в вебе. Опыт решения проблем роста нагрузки в умных домах.

Покоряем сетевой стек Linux: декапсулируем пакеты с помощью eBPF на скорости 6Mpps+. Как использовали eBPF для перехвата и декапсуляции VXLAN-пакетов прямо в ядре, обеспечив корректный сбор статистики без значительных изменений в архитектуре системы.

Как сделать централизованное логирование и крепко спать по ночам. Эволюция системы логирования через поле, усыпанное граблями, до нагруженного production-сервиса.

Железо ненадежно, люди ненадежны, поставщики ненадежны. Как спроектировали и запустили собственную облачную платформу на 20К виртуальных машин — опыт Wildberries.

Проектируем собственную inhouse Feature Platform. Как построить внутреннюю Feature Platform, которая ускоряет внедрение ML-моделей и делает работу с данными прозрачной и управляемой.

Оптимизация конкурентных приложений в Go. Как превратить конкурентность из потенциальной ловушки в инструмент для построения эффективных и поддерживаемых приложений.

Как мигрировать с OpenShift на любой дистрибутив Kubernetes без единой правки. Хитрый подход к миграции, который позволяет перенести тысячи сервисов и десятки тысяч Yaml-манифестов без правок в коде и конфигурациях.


👀 🎧 Посмотреть и послушать:

Записи докладов с конференции Saint HighLoad++ 2024:

«Как мы монгу физически бэкапили». Рассказ о том, как Яндекс учился бэкапить кластеры MongoDB для своих клиентов: чтобы бэкапы занимали адекватное количество места, с ними было легко работать, а главное — чтобы из них можно было восстановить консистентный кластер!

«Психологический возраст кибербезопасности». Внимание к кибербезопасности сегодня повышенное и невозможно обойти такую ее сторону, как готовность организации. Обычно оценивают технологии с помощью опросов и аудита. Спикер пошел дальше и рассказал, как все это работает и как определить психологическую зрелость кибербеза в компании.

Подкасты:

Можно ли сэкономить миллионы компании, внедрив FinOps? Или это просто модный термин без реальной пользы? Выпуск Podcast++ о том, как эффективно управлять затратами на инфраструктуру и мотивировать команду думать о бюджете.

Одного грейда уже не хватает. Разработчики с одинаковыми скиллами получают разные офферы — потому что одни умеют говорить о себе, а другие нет. Подкаст о том, как разработчику стать заметнее на рынке.


Сохраните дайджест себе и поделитесь с коллегами 🙌

Работа нейросетей с медиаконтентом прямо в браузере – одна из самых сложных задач для современных сервисов видеоконференций. Как добиться real-time инференса, сэкономить ресурсы пользователя и при этом не потерять в качестве?

Дмитрий Балиев из SberDevices поделился опытом создания собственного движка для ML-моделей. Рассказал, почему они не стали брать готовые Open Source-решения и как построили эффективный инференс, используя возможности WebGL. Как работает их графовый движок, который дает возможность оптимизировать вычисления, но при этом аккуратно структурировать код.

✅ Подробности в статье