В эпоху больших данных и возрастающих вычислительных нагрузок производительность Spark-приложений становится критически важной для бизнеса.

Александр Маркачев, Data Engineer команды Голосовой Антифрод в билайн, поделился опытом оптимизации Spark-кода на реальных задачах: как с помощью ручного и автоматического репартицирования ускорить обработку данных, как правильно настраивать оконные функции и запускать множество небольших Spark-приложений внутри одного процесса для экономии ресурсов. Все техники сопровождаются объяснениями, примерами и рекомендациями для самостоятельного повторения.

✅ Статья

DevOps-практики и культура – секция для тех, кто хочет заложить или укрепить культурный и технологический фундамент DevOps на практике.

На Saint HighLoad++ 2025 приходите послушать доклады секции, чтобы освоить реализацию SLI/SLO, исследовать возможности Kubernetes API и узнать о 8-летнем опыте создания AdGuard DNS ⤵️

1) Как добыть SLO: источники и инструменты гномов SREдней полосы. Дмитрий Синявский (Ви.Tech)

Если вы стоите в начале пути построения своих SLO/SLI, то этот доклад поможет вам разобраться, с чего начать и как избежать подводных камней при внедрении.

2) Extension API Server в Kubernetes: когда CRD недостаточно. Ярослав Борбат (Флант)

Когда необходимо расширить возможности Kubernetes и добавить новую функциональность, приходит на ум Custom Resource Definitions. И закономерный вопрос: всегда ли CRD достаточно для решения задачи или есть другие подходы, которые можно использовать в разработке под Kubernetes? Попробуем разобраться!

3) AdGuard DNS — от нуля до 100 000 000 пользователей через боль. Андрей Мешков, Константин Замякин (AdGuard)

Доклад — мастхэв для всех, кто хочет узнать историю развития AdGuard DNS и увидеть все те проблемы, которые собрали ребята в процессе реализации DNS-сервиса на 100kk пользователей. В нем реальные кейсы из практики создания одного из самых больших DNS-сервисов в мире.

Встречаемся 23 и 24 июня в Санкт-Петербурге 🙌

✅ Посмотреть программу конференции и забронировать билет можно на сайте

Нейронные сети и искусственный интеллект становятся все более актуальными в разработке высоконагруженных систем, позволяя улучшать производительность, безопасность и пользовательский опыт. Интеграция ИИ в архитектуру открывает новые возможности для обработки данных и автоматизации процессов, что делает их более эффективными и адаптивными к меняющимся требованиям рынка.

Знакомим вас со следующими докладами из секции «Нейронные сети и искусственный интеллект (data science)» ⤵️

1) Миллион товаров, опыт один: используем коллаборативные и мультимодальные эмбеддинги для кластеризации. Олег Дурандин (Wildberries&Russ)

Спикер расскажет о пути, который они прошли, чтобы построить кластеризацию товаров на маркетплейсе для решения задач составления тематических подборок для огромного числа товаров и улучшения пользовательского опыта.

2) Как мы создали свое аппаратное решение для измерения габаритов и веса товара с помощью нейросетей и стереокамер. Мария Гафурова (Ozon)

Хотите узнать о подходах к автоматическому измерению товаров по снимку с камер в промышленном объеме? Приходите послушать доклад Марии, в котором узнаете нюансы обучения ML-моделей для точного измерения товаров от маленькой булавки до большой техники.

3) Склад Шредингера: как с помощью компьютерного зрения сократить инцидентность на больших складах логистического оператора. Михаил Красильников (BIA-Technologies)

В докладе пойдет речь об оптимизации затрат на складах с использованием ML. В частности, докладчик расскажет про нюансы обучения моделей и о реальном применении детекторов обнаружения аномального поведения на складах, а также о том, как это помогает экономить большие бюджеты на этапе логистики.

Ждем вас 23 и 24 июня в Санкт-Петербурге на Saint HighLoad++ 2025 🖐️

✅ Программа конференции и билеты на сайте

Процесс сопоставления товаров между собой как в каталогах разных продавцов, так и в каталоге одного продавца очень важен для современной интернет-торговли и эффективной работы маркетплейсов. Но выполнить его по миллионам позиций не так-то просто.

Виталий Кулиев, Data Science Tech Lead из Wildberries&Russ, поделился практическим кейсом использования Llama для мэтчинга товаров. Рассказал, как не заливать проблему деньгами, а найти эффективное решение, которое вы сможете использовать у себя.

➡️ Подробности в статье

Как внедрять, как расследовать инциденты и как сделать свою высоконагруженную систему с̶ч̶а̶с̶т̶л̶и̶в̶о̶й̶ работающей? Как ускорить процесс анализа критичных инцидентов за счет автоматизации рутинных действий?

Ответы на эти вопросы вы найдете в докладах из секции «Эксплуатация систем», о которых рассказываем сегодня. А еще увидите конкретный пример расследования проблемы в работе сложного Java-приложения.

1) Как мы строили наблюдаемость на Open Source в ecom.tech: OpenTelemetry, Qryn и Coroot. Валерий Евдокимов (ecom.tech)

Хороший доклад об инженерной истории развития трейсинга. Ребята пришли от Elastic APM через Grafana Tempo к Qryn+Clickhouse. Также расскажут про то, как дополнили это решение данными от Coroot.

2) Автоматизация Postmortem: баланс между скоростью и качеством анализа критичных инцидентов. Андрей Давыдков (МТС)

У всех случаются инциденты. Но правильной реакции на них не все учатся. В докладе будет освещен опыт компании МТС. Спикер расскажет, как они научились проводить postmortem-анализы, автоматизировали этот процесс и непрерывно его развивают.

3) Сопровождение #каквсбере: СУБД на Java в критичных системах. Илья Шишков (СберТех)

Доклад про то, что траблшутинг высоконагруженных систем заставляет залезать в такие дебри, про которые редко задумываешься, когда читаешь гайды по настройке в интернете.

Ждем вас в Санкт-Петербурге на профессиональной конференции разработчиков высоконагруженных систем Saint HighLoad++ 2025 🖐️

✅ Программа конференции, расписание и билеты на сайте

🚀 Спешим поделиться с вами записями трех лучших докладов с конференции TechLead Conf 2024, прошедшей в рамках TeamLead Conf++ 2024. Это ваш шанс узнать о новейших трендах в инженерии и передовых практиках, которые меняют подход к разработке. Не упустите возможность обогатить свои навыки и найти вдохновение для будущих проектов!

1. «Просто о сложном: архитектура фронта для техлида» / Максим Вишневский (Mindbox)

Доклад Максима поможет тимлидам и техлидам кросс-функциональных команд лучше понимать, какие архитектурные сложности стоят на пути создания современных фронтенд-приложений, какие есть пути решения и как лучше выстраивать процессы в команде, чтобы обойти популярные подводные камни.

Смотреть на VK Видео

2. «Микрофронтенды: разбиваемся на кросс-функциональные команды и деплоим без боли» / Александр Гончаров (ГК Юзтех)

Доклад посвящен внедрению микрофронтендов для ускорения разработки и улучшения взаимодействия команд. Вы узнаете, как микрофронтенды помогают создавать кросс-функциональные команды, устранять задержки в деплое и распределять ответственность.

Смотреть на VK Видео

3. «ContractFirst- vs CodeFirst-подходы при построении процесса разработки» / Иван Поддубный (Вебпрактик)

Иван расскажет про особенности подходов ContractFirst и CodeFirst, чем они отличаются. Затронет области применимости того или иного решения. По ходу доклада автор будет акцентировать внимание на организации процессов работы внутри команд.

Смотреть на VK Видео

🔥 Не пропустите конференцию для разработчиков, стремящихся к профессиональному росту — TechLead Conf X 2025. Приглашаем вас 5 июня принять участие в этом важном мероприятии.

На конференции мы поделимся передовым опытом инженерных практик от ведущих технологических компаний, рассмотрим процессы работы с архитектурой, оптимизацию затрат на разработку и обеспечение качества через инженерные практики. Стоимость билета составляет 42000 рублей для офлайн-участников и 21000 рублей для онлайн-участников.

📎 Узнать больше о докладах и расписании конференции, а также забронировать билет можно на сайте.

Ждем вас на TechLead Conf X 2025!

🔥 Друзья, мы рады поделиться с вами записями топ-5 докладов с конференции Golang Conf 2024, которая проходила в рамках HighLoad++ 2024. У вас есть уникальная возможность узнать о самых интересных темах и идеях от ведущих экспертов Go-сообщества России.

1. «Чтобы код был быстрым, достаточно всего лишь…» / Денис Божок (Островок!)

Сегодня считается, что оптимизировать надо не код, а алгоритмы и структуры данных. Но оптимизация кода — это весело, а иногда даже полезно. Смотрим, как Денис жонглирует байтами, тактами и ассемблерными инструкциями во имя преждевременных оптимизаций.

Смотреть на VK Видео

2. «Разгоняем Go TLS до 100 Gbps с сервера» / Кирилл Шваков (Kinescope)

Нужно 100 Gbps гнать через TLS — очевидно, нужно специализированное железо, C++ или Rust. Или нет? Правка стандартной библиотеки, прямая работа с ядром и прочий хардкор — все, как мы любим.

Смотреть на VK Видео

3. «Умный дом Sber: как вырасти с 0 до сотен тысяч онлайн-устройств и не умереть» / Вадим Трегубов (SberDevices)

Построение высоконагруженных IoT-систем имеет свои нюансы, потому что хайлоад там — это не тот хайлоад, к которому мы привыкли в вебе. Из доклада вы узнаете, с какими трудностями столкнулась команда SberDevices при росте на очередной нолик нагрузки.

Смотреть на VK Видео

4. «Оптимизация конкурентных приложений: паттерны, сравнение и микроархитектура» / Максим Мирошниченко (VK, VK Tech)

Конкурентность из коробки — одно из базовых преимуществ Go, однако практический результат применения зависит от умения ее готовить. В докладе речь пойдет о принципах эффективного применения паттернов конкурентности и построения надежно работающих решений, использующих конкурентность.

Смотреть на VK Видео

5. «Как совмещать несовместимое, ускоряя неускоряемое, используя ассемблер Go» / Игорь Панасюк (Яндекс)

3/4 Go-программистов ничего не знают и знать не желают о Go’шной черной магии. Могут себе позволить! Но в Go есть черная магия, и чернейший ее раздел — применение Go-ассемблера. Что происходит в самых темных глубинах стека вплотную к ядру системы и камням процессоров — расскажет черный маг Игорь.

Смотреть на VK Видео

⚡️ Уже 4 июня состоится крупнейшая профессиональная конференция для Go-разработчиков и их руководителей в России — Golang Conf X 2025. Приглашаем вас присоединиться!

Вас ждут ведущие спикеры российского Go-сообщества, иностранные эксперты, глубокие технические доклады, нетворкинг с единомышленниками и множество увлекательных активностей. Стоимость билета составляет 42000 рублей для офлайн-участников и 21000 рублей для онлайн-участников.

📎 Подробнее ознакомиться с докладами и расписанием конференции, а также приобрести билет можно на сайте

До встречи на Golang Conf X 2025!

Производительность etcd-кластера со множеством объектов — большая проблема для тех, кто любит Kubernetes.

Алексей Волков, менеджер продукта Cloud Containers в VK Cloud, предлагает проверенное решение, которое позволило им разогнать Managed Kubernetes под очень высокие нагрузки (500 000 объектов в кластере) и сохранить его производительность.

➡️ Узнайте решение в статье