Обработка потоковых данных — важная составляющая многих высоконагруженных систем. В категории «Стриминг и обработка потоковых данных» объединены доклады о технологиях и практиках работы с потоковыми данными ⤵️
1) Архитектура сбора продакшен-трафика для нагрузочного тестирования: 10 000 микросервисов и 30 млрд запросов в Ozon. Евгений Кузышин (Ozon)
Как собрать трафик в реальном времени с 10 000 микросервисов в Оzon для ежедневных нагрузочных тестов, превращая 30 млрд запросов в супероружие для проверки системы. Докладчик поделится практическими решениями и реальными инсайтами по организации масштабируемой системы сбора трафика.
* Реальный опыт масштабирования системы сбора и обработки данных.
2) 10k метрик, 500 A/B-экспериментов и 500kk p-value каждый день. Как это возможно? Данила Леньков (Авито)
Насыщенная личным опытом история развития внутреннего проекта, масштабирования его функциональности на большую компанию и подготовка к созданию продукта. В докладе присутствует фокус на архитектуру и оптимизацию.
* Обработка огромных объемов аналитических данных в реальном времени — сложная техническая задача.
3) Сравнение масштабируемости Kafka и YDB Topics. Андрей Серебрянский (YDB)
Highload без очередей не highload. Профи построения Stream-систем Андрей Серебрянский расскажет кейсы масштабирования стриминга, подсветит подводные камни, для каждого случая проведет сравнительный анализ (без прикрас): Kafka и YDB Topics. Узнаем, где лучше применять каждый инструмент.
*Сравнительный анализ технологий помогает выбрать оптимальное решение для конкретных задач потоковой обработки.
4) Как правильно готовить RabbitMQ – 8 практических кейсов. Виктор Михайлов (Garage Eight)
Глубокое погружение в мир RabbitMQ. Разберем практические кейсы конфигурирования, поудивляемся, поспорим, а может, и похоливарим.
* RabbitMQ — популярный брокер сообщений, правильная настройка которого критична для многих систем.
5) CDC без боли: Реальный опыт построения отказоустойчивой репликации с Debezium и Kafka. Евгений Прочан (Magnit OMNI)
Как импортировать только новые данные из более чем 16 типов баз? Как обеспечить надежный observability всего этого и не мешать основной работе систем? Евгений расскажет, как они в DWH Magnit OMNI используют Debezium, его возможности: инкрементальные снапшоты, хардбиты, сигналы и кое-что еще.
* Change Data Capture (CDC) — важный паттерн для синхронизации данных между системами в реальном времени.
Присоединяйтесь к нам 23 и 24 июня на Saint HighLoad++ 2025 🙌
✅ Программа конференции, расписание и билеты на сайте
1) Архитектура сбора продакшен-трафика для нагрузочного тестирования: 10 000 микросервисов и 30 млрд запросов в Ozon. Евгений Кузышин (Ozon)
Как собрать трафик в реальном времени с 10 000 микросервисов в Оzon для ежедневных нагрузочных тестов, превращая 30 млрд запросов в супероружие для проверки системы. Докладчик поделится практическими решениями и реальными инсайтами по организации масштабируемой системы сбора трафика.
* Реальный опыт масштабирования системы сбора и обработки данных.
2) 10k метрик, 500 A/B-экспериментов и 500kk p-value каждый день. Как это возможно? Данила Леньков (Авито)
Насыщенная личным опытом история развития внутреннего проекта, масштабирования его функциональности на большую компанию и подготовка к созданию продукта. В докладе присутствует фокус на архитектуру и оптимизацию.
* Обработка огромных объемов аналитических данных в реальном времени — сложная техническая задача.
3) Сравнение масштабируемости Kafka и YDB Topics. Андрей Серебрянский (YDB)
Highload без очередей не highload. Профи построения Stream-систем Андрей Серебрянский расскажет кейсы масштабирования стриминга, подсветит подводные камни, для каждого случая проведет сравнительный анализ (без прикрас): Kafka и YDB Topics. Узнаем, где лучше применять каждый инструмент.
*Сравнительный анализ технологий помогает выбрать оптимальное решение для конкретных задач потоковой обработки.
4) Как правильно готовить RabbitMQ – 8 практических кейсов. Виктор Михайлов (Garage Eight)
Глубокое погружение в мир RabbitMQ. Разберем практические кейсы конфигурирования, поудивляемся, поспорим, а может, и похоливарим.
* RabbitMQ — популярный брокер сообщений, правильная настройка которого критична для многих систем.
5) CDC без боли: Реальный опыт построения отказоустойчивой репликации с Debezium и Kafka. Евгений Прочан (Magnit OMNI)
Как импортировать только новые данные из более чем 16 типов баз? Как обеспечить надежный observability всего этого и не мешать основной работе систем? Евгений расскажет, как они в DWH Magnit OMNI используют Debezium, его возможности: инкрементальные снапшоты, хардбиты, сигналы и кое-что еще.
* Change Data Capture (CDC) — важный паттерн для синхронизации данных между системами в реальном времени.
Присоединяйтесь к нам 23 и 24 июня на Saint HighLoad++ 2025 🙌
✅ Программа конференции, расписание и билеты на сайте
Надежная работа высоконагруженных систем требует грамотной эксплуатации и мониторинга. Категория «Эксплуатация и мониторинг высоконагруженных систем» включает доклады о практиках поддержки систем в «боевых» условиях ⤵️
1) Как настроить Nginx, чтобы он выдержал DDoS. Сергей Черкашин (Wildberries&Russ)
Помните sysctl-параметры для C10K problem из статей 2000-х? Приходите узнать, какие из них работают сейчас. Еще будет информация, как делать ratelimit на JA4 и какой с него толк. Как кешировать динамику. Как обрабатывать access.log, если ты очень большой. И это еще не все вкусности доклада.
*Практические рекомендации по защите от DDoS-атак, которые стали обыденностью для многих российских сервисов.
2) Четыре девятки хватит всем? Разбираемся с доступностью дата-центров. Алексей Учакин (EdgeЦентр)
Не все девятки одинаково полезны – две девятки, три, четыре, а ЦОД все равно простаивает. В докладе рассматриваются примеры из реальной жизни о надежности ЦОДов и рецепты как их подбирать.
*Определение необходимого уровня доступности (SLA) — ключевой вопрос при проектировании надежных систем.
3) Как делать эффективные дашборды для 2000+ микросервисов? Алексей Золотухин (Техплатформа Городских сервисов Яндекса)
Многие рассказывают про то, что алертов и дэшбордов должно быть не сильно много, чтобы не устать от них. Но мало кто задумывается о том, что у дэшбордов в графане тоже должен быть хороший UI и UX. В этом докладе будут советы по настройке дэшбордов для удобства и скорости.
*Мониторинг сложных микросервисных архитектур — вызов, с которым сталкиваются многие команды эксплуатации.
4) SLI и SLO для бизнеса: как следить за качеством 200+ продуктов. Филипп Бочаров, Эдуард Степанянц (МТС Web Services)
«Все ли хорошо у продукта? Мы укладываемся в SLO?». Авторы доклада однозначно могут ответить на этот вопрос. В докладе вы услышите не только описание подхода к «Дашбордам здоровья» продуктов, но и узнаете техническую реализацию
*Методология SRE и определение SLO становятся стандартом при эксплуатации сложных систем.
5) 20 лет на граблях: ошибки, отказы и выводы. Александр Стерлигов (МТС Web Services)
Спикер с большим опытом работы в ИТ. В докладе 4 ситуации, с которыми он столкнулся по ходу своей карьеры. Fail-митап, превращенный в полноценный доклад с историями, которые кажутся как шутки, но это реальность.
*Опыт работы с отказами систем позволяет предотвратить будущие проблемы и повысить общую надежность.
🖐️ Ждем вас 23 и 24 июня в Санкт-Петербурге на Saint HighLoad++ 2025.
✅ Полная программа конференции, расписание и билеты на сайте
1) Как настроить Nginx, чтобы он выдержал DDoS. Сергей Черкашин (Wildberries&Russ)
Помните sysctl-параметры для C10K problem из статей 2000-х? Приходите узнать, какие из них работают сейчас. Еще будет информация, как делать ratelimit на JA4 и какой с него толк. Как кешировать динамику. Как обрабатывать access.log, если ты очень большой. И это еще не все вкусности доклада.
*Практические рекомендации по защите от DDoS-атак, которые стали обыденностью для многих российских сервисов.
2) Четыре девятки хватит всем? Разбираемся с доступностью дата-центров. Алексей Учакин (EdgeЦентр)
Не все девятки одинаково полезны – две девятки, три, четыре, а ЦОД все равно простаивает. В докладе рассматриваются примеры из реальной жизни о надежности ЦОДов и рецепты как их подбирать.
*Определение необходимого уровня доступности (SLA) — ключевой вопрос при проектировании надежных систем.
3) Как делать эффективные дашборды для 2000+ микросервисов? Алексей Золотухин (Техплатформа Городских сервисов Яндекса)
Многие рассказывают про то, что алертов и дэшбордов должно быть не сильно много, чтобы не устать от них. Но мало кто задумывается о том, что у дэшбордов в графане тоже должен быть хороший UI и UX. В этом докладе будут советы по настройке дэшбордов для удобства и скорости.
*Мониторинг сложных микросервисных архитектур — вызов, с которым сталкиваются многие команды эксплуатации.
4) SLI и SLO для бизнеса: как следить за качеством 200+ продуктов. Филипп Бочаров, Эдуард Степанянц (МТС Web Services)
«Все ли хорошо у продукта? Мы укладываемся в SLO?». Авторы доклада однозначно могут ответить на этот вопрос. В докладе вы услышите не только описание подхода к «Дашбордам здоровья» продуктов, но и узнаете техническую реализацию
*Методология SRE и определение SLO становятся стандартом при эксплуатации сложных систем.
5) 20 лет на граблях: ошибки, отказы и выводы. Александр Стерлигов (МТС Web Services)
Спикер с большим опытом работы в ИТ. В докладе 4 ситуации, с которыми он столкнулся по ходу своей карьеры. Fail-митап, превращенный в полноценный доклад с историями, которые кажутся как шутки, но это реальность.
*Опыт работы с отказами систем позволяет предотвратить будущие проблемы и повысить общую надежность.
🖐️ Ждем вас 23 и 24 июня в Санкт-Петербурге на Saint HighLoad++ 2025.
✅ Полная программа конференции, расписание и билеты на сайте
👍1
🔥 Записи докладов с конференции Saint HighLoad++ 2024 из блока «HighLevel-программировани». Это доклады, которые, на наш взгляд, предназначены для разработчиков и тестировщиков очень высокого уровня 💪
1) Лечим flaky-тесты в режиме blackbox. Евгений Веретенников
Флакающие тесты сами по себе проблема, а в монорепе эта проблема проявляется особенно остро. Евгений рассказал, с помощью каких техник можно кратно уменьшить количество таких тестов.
Доклад будет особенно интересен разработчикам и тестировщикам, желающим починить flaky в своём проекте и снизить в разы % сборок, упавших от flaky.
🟣 VK Видео
🟣 RUTUBE
2) Таксономия изоляции: как оградить себя от хакера. Антон Жаболенко, Алексей Федулаев.
Широкий обзор технологий изоляции кода. В докладе разобраны плюсы и минусы каждого подхода с точки зрения безопасности. Подробно рассмотрено, чем изоляция на уровне контейнеров отличается от изоляции на уровне виртуальных машин. Обсудили альтернативные технологии изоляции. Провели прикладное моделирование угроз и выяснили, какая изоляция самая надёжная. Рассмотрели практические примеры использования различных технологий изоляции в реальных продуктах.
🟣 VK Видео
🟣 RUTUBE
3) Байт-код — это просто! Как сделать Dependency Injection по-настоящему быстрым. Григорий Юрков.
На примере своего DI-фреймворка Григорий показал, какую магию можно делать, манипулируя байт-кодом. И какую магию реализуют в других инструментах.
Доклад будет интересен тем, кто хочет узнать, как можно ускорять свой код с помощью манипуляций с байт-кодом, и тем, кому интересно применить низкоуровневые знания к ускорению приложения.
🟣 VK Видео
🟣 RUTUBE
Продуктивного просмотра и отличных выходных! Не забывайте делиться с коллегами, которым будут интересны эти темы 😉
#записьдокладаHL
@HighLoadChannel
1) Лечим flaky-тесты в режиме blackbox. Евгений Веретенников
Флакающие тесты сами по себе проблема, а в монорепе эта проблема проявляется особенно остро. Евгений рассказал, с помощью каких техник можно кратно уменьшить количество таких тестов.
Доклад будет особенно интересен разработчикам и тестировщикам, желающим починить flaky в своём проекте и снизить в разы % сборок, упавших от flaky.
2) Таксономия изоляции: как оградить себя от хакера. Антон Жаболенко, Алексей Федулаев.
Широкий обзор технологий изоляции кода. В докладе разобраны плюсы и минусы каждого подхода с точки зрения безопасности. Подробно рассмотрено, чем изоляция на уровне контейнеров отличается от изоляции на уровне виртуальных машин. Обсудили альтернативные технологии изоляции. Провели прикладное моделирование угроз и выяснили, какая изоляция самая надёжная. Рассмотрели практические примеры использования различных технологий изоляции в реальных продуктах.
3) Байт-код — это просто! Как сделать Dependency Injection по-настоящему быстрым. Григорий Юрков.
На примере своего DI-фреймворка Григорий показал, какую магию можно делать, манипулируя байт-кодом. И какую магию реализуют в других инструментах.
Доклад будет интересен тем, кто хочет узнать, как можно ускорять свой код с помощью манипуляций с байт-кодом, и тем, кому интересно применить низкоуровневые знания к ускорению приложения.
Продуктивного просмотра и отличных выходных! Не забывайте делиться с коллегами, которым будут интересны эти темы 😉
#записьдокладаHL
@HighLoadChannel
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2🔥2👍1
В Go есть раздел, про который не любят говорить даже Go-программисты. Это самое глубокое «подкапотье» стека — применение Go-ассемблера. Часть, которая вплотную прилегает к ядру системы и камням процессоров.
Игорь Панасюк любит Go и готов рассказывать о том, как ускорить код, используя абстрактный ассемблер Go. Он покажет, как можно пользоваться SIMD-инструкции, которые не поддержаны из коробки с примерами программ.
✅ Подробности в статье
Игорь Панасюк любит Go и готов рассказывать о том, как ускорить код, используя абстрактный ассемблер Go. Он покажет, как можно пользоваться SIMD-инструкции, которые не поддержаны из коробки с примерами программ.
✅ Подробности в статье
Хабр
Часть 1. Почему Go-ассемблер и векторизация могут быть полезны: идея для ускорения
Когда речь заходит о производительности в Go, большинство разработчиков полагаются на стандартные библиотеки и встроенные инструменты оптимизации. Но компилятор Go не всегда генерирует оптимальный...
🔥7👏2
Если вы проходите путь от стартапа к высоконагруженному сервису, разрабатываете высоконагруженные бизнес-приложения, интересуетесь распределенными системами или хотите разобраться в практическом применении AsyncAPI — следующие четыре доклада из секции «Архитектура» для вас ⤵️
1) От 1 тыс. до 180 тыс. IoT-устройств: как мы масштабировали архитектуру и пережили кризис роста. Руслан Ягафаров (МТС Юрент)
Кто-то любит электросамокаты, кто-то их ненавидит, но знают их все. История про то, как развивался один из самых крупных сервисов проката. Зоопарк технологий, боль, фейлы и элегантные решения.
2) История технической эволюции сервиса объявлений Авто.ру: от начала до наших дней. Андрей Борунов (Яндекс)
Чего греха таить, мы все любим байки и придания старины глубокой... Андрей расскажет нам историю одного из старейших сервисов Рунета.
3) От клика до публикации: архитектура платформы размещения объявлений Авито. Евгений Толмачев (Авито)
Сколько нужно девяток для счастья платформе объявлений Авито, и как этого добиться в реальных условиях — расскажет нам Евгений!
4) AsyncAPI – Swagger для асинхронного API. Александр Митин (ИТ-Холдинг Т1)
Как описать Kafka и event-driven-системы так же просто, как REST? Александр покажет, как стандарт AsyncAPI превращает обмен сообщениями в contract-first-процесс: от схем до генерации кода, документации и контрактных тестов.
Встречаемся 23 и 24 июня в Санкт-Петербурге на Saint HighLoad++ 2025, присоединяйтесь к нам 🖐️
✅ Программа конференции и билеты на сайте
1) От 1 тыс. до 180 тыс. IoT-устройств: как мы масштабировали архитектуру и пережили кризис роста. Руслан Ягафаров (МТС Юрент)
Кто-то любит электросамокаты, кто-то их ненавидит, но знают их все. История про то, как развивался один из самых крупных сервисов проката. Зоопарк технологий, боль, фейлы и элегантные решения.
2) История технической эволюции сервиса объявлений Авто.ру: от начала до наших дней. Андрей Борунов (Яндекс)
Чего греха таить, мы все любим байки и придания старины глубокой... Андрей расскажет нам историю одного из старейших сервисов Рунета.
3) От клика до публикации: архитектура платформы размещения объявлений Авито. Евгений Толмачев (Авито)
Сколько нужно девяток для счастья платформе объявлений Авито, и как этого добиться в реальных условиях — расскажет нам Евгений!
4) AsyncAPI – Swagger для асинхронного API. Александр Митин (ИТ-Холдинг Т1)
Как описать Kafka и event-driven-системы так же просто, как REST? Александр покажет, как стандарт AsyncAPI превращает обмен сообщениями в contract-first-процесс: от схем до генерации кода, документации и контрактных тестов.
Встречаемся 23 и 24 июня в Санкт-Петербурге на Saint HighLoad++ 2025, присоединяйтесь к нам 🖐️
✅ Программа конференции и билеты на сайте
This media is not supported in your browser
VIEW IN TELEGRAM
На HighLoad++ 2024 мы задали участникам вопрос ⬆️
👍1
А чем бы вы занимались, если бы стали фермером?
Anonymous Poll
45%
Посадил (-а) бы виноградники 🍇
6%
Помогал (-а) бы миру становиться лучше 💪
8%
Лошади ❤️🔥
20%
Пасти котов!
18%
Я уже фермер 😎
3%
А я бы... (расскажите в комментариях ⤵️)
Построить собственный магазин фичей — задача не классическая. Такое за пару недель не сделаешь. Нужны исследования, совместимость, обучение.
Евгений Дащенко из Домклик рассказал, как они последовательно внедряли свой Feature Store в существующие пайплайны «на ходу» и параллельно успевали решать бизнес-задачи. Что сделали, чтобы не уйти в долгострой и показать первые результаты: начиная от разбора запросов и источников, заканчивая автогенерацией фич через SDK.
➡️ Эту невероятную историю можно прочитать в статье
Евгений Дащенко из Домклик рассказал, как они последовательно внедряли свой Feature Store в существующие пайплайны «на ходу» и параллельно успевали решать бизнес-задачи. Что сделали, чтобы не уйти в долгострой и показать первые результаты: начиная от разбора запросов и источников, заканчивая автогенерацией фич через SDK.
➡️ Эту невероятную историю можно прочитать в статье
Хабр
Переходим от legacy к построению Feature Store
Невероятная история о том, как внедрить систему Feature Store в проект с огромным legacy и получить профит. Привет, Хабр! Меня зовут Евгений Дащенко, я из компании Домклик, которая решает все вопросы,...
Внедрение ClickHouse для аналитики около реального времени, нюансы разработки инфраструктурных провайдеров, построение единой платформы аутентификации для группы компаний, разработка внутренних платформ и решение проблемы взаимодействия разных технологий — все это в докладах, о которых рассказываем сегодня ⤵️
1) Система аналитики в реальном времени на 5 млрд событий в день c помощью ClickHouse. Андрей Березин (SberDevices)
Классное практическое пособие, как из готовых и бесплатных решений относительно быстро собрать аналитическое решение, которое подойдет для большинства компаний.
2) Инфраструктурный провайдер для Cluster API: с нуля до open source. Василий Димов (Т-Банк)
Казалось бы, история разработки еще одного open source-продукта для инфраструктуры. Но тут еще и обоснование архитектурных решений с обзором альтернативных решений Cluster API на основе платформ крупнейших гиперскейлеров, и собственная экспертиза работы с Yandex Cloud. Все в одном флаконе.
3) Строим единую платформу аутентификации на основе Keycloak. Виктор Попов (ecom.tech)
Доклад о том, как построить и развивать масштабируемую платформу аутентификации на базе Keycloak: от выбора IDM-системы и отказоустойчивой мультиЦОД-архитектуры до полного IaC-подхода и Self Service.
4) FinOps в IТ-платформе Туту. Как мы говорим с бизнесом про эффективность. Максим Скоморохов (tutu.ru)
Продолжение истории про развитие внутренней платформы Туту. Спикер расскажет про проблему эффективности платформы, поделится подходами к планированию и оптимизации затрат, представит финансовую модель внутреннего биллинга и ключевые метрики, покажет инструменты, поддерживающие эти процессы.
5) Объединение сложных филиальных организаций при помощи Event Mesh. Александр Бардаш (МТС Web Services)
Вы узнаете, как MTS Web Services объединили свои системы через Event Mesh: унифицировали интеграцию REST, Kafka, RabbitMQ без ручных настроек. Ценный кейс внедрения платформы с удобным подключением сервисов. Доклад полезен всем, кто хочет упростить интеграции и повысить надежность обмена данными.
Ждем вас 23 и 24 июня на Saint HighLoad++ 2025 🙌
✅ Программа конференции, расписание и билеты на сайте
1) Система аналитики в реальном времени на 5 млрд событий в день c помощью ClickHouse. Андрей Березин (SberDevices)
Классное практическое пособие, как из готовых и бесплатных решений относительно быстро собрать аналитическое решение, которое подойдет для большинства компаний.
2) Инфраструктурный провайдер для Cluster API: с нуля до open source. Василий Димов (Т-Банк)
Казалось бы, история разработки еще одного open source-продукта для инфраструктуры. Но тут еще и обоснование архитектурных решений с обзором альтернативных решений Cluster API на основе платформ крупнейших гиперскейлеров, и собственная экспертиза работы с Yandex Cloud. Все в одном флаконе.
3) Строим единую платформу аутентификации на основе Keycloak. Виктор Попов (ecom.tech)
Доклад о том, как построить и развивать масштабируемую платформу аутентификации на базе Keycloak: от выбора IDM-системы и отказоустойчивой мультиЦОД-архитектуры до полного IaC-подхода и Self Service.
4) FinOps в IТ-платформе Туту. Как мы говорим с бизнесом про эффективность. Максим Скоморохов (tutu.ru)
Продолжение истории про развитие внутренней платформы Туту. Спикер расскажет про проблему эффективности платформы, поделится подходами к планированию и оптимизации затрат, представит финансовую модель внутреннего биллинга и ключевые метрики, покажет инструменты, поддерживающие эти процессы.
5) Объединение сложных филиальных организаций при помощи Event Mesh. Александр Бардаш (МТС Web Services)
Вы узнаете, как MTS Web Services объединили свои системы через Event Mesh: унифицировали интеграцию REST, Kafka, RabbitMQ без ручных настроек. Ценный кейс внедрения платформы с удобным подключением сервисов. Доклад полезен всем, кто хочет упростить интеграции и повысить надежность обмена данными.
Ждем вас 23 и 24 июня на Saint HighLoad++ 2025 🙌
✅ Программа конференции, расписание и билеты на сайте
В эпоху больших данных и возрастающих вычислительных нагрузок производительность Spark-приложений становится критически важной для бизнеса.
Александр Маркачев, Data Engineer команды Голосовой Антифрод в билайн, поделился опытом оптимизации Spark-кода на реальных задачах: как с помощью ручного и автоматического репартицирования ускорить обработку данных, как правильно настраивать оконные функции и запускать множество небольших Spark-приложений внутри одного процесса для экономии ресурсов. Все техники сопровождаются объяснениями, примерами и рекомендациями для самостоятельного повторения.
✅ Статья
Александр Маркачев, Data Engineer команды Голосовой Антифрод в билайн, поделился опытом оптимизации Spark-кода на реальных задачах: как с помощью ручного и автоматического репартицирования ускорить обработку данных, как правильно настраивать оконные функции и запускать множество небольших Spark-приложений внутри одного процесса для экономии ресурсов. Все техники сопровождаются объяснениями, примерами и рекомендациями для самостоятельного повторения.
✅ Статья
Хабр
Оптимизация Spark-приложений: шаг за шагом от базовых техник до продвинутых приёмов
Билайн давно борется с мошенниками, как и все крупные операторы сотовой связи. Однако формирование множества отчётов для регулятора неожиданно стал для меня вызовом. Привет, Хабр! Меня зовут Александр...
👍1
Друзья, у нас есть несколько тематических подборок с записями докладов. Предлагаем выбрать тему, которая вам наиболее интересна. Подборку на самую популярную тему опубликуем на следующей неделе 👌
Anonymous Poll
22%
10kk RPS
11%
Архитектура поиска
13%
Геораспределенные системы
9%
Микросервисы
19%
Проектирование архитектуры
5%
Кластеризация баз данных
12%
Внутрянка баз данных
3%
Безопасность
7%
Инфраструктура
1%
А может для вас сейчас очень актуальна другая тема? Напишите в комментариях ⤵️
DevOps-практики и культура – секция для тех, кто хочет заложить или укрепить культурный и технологический фундамент DevOps на практике.
На Saint HighLoad++ 2025 приходите послушать доклады секции, чтобы освоить реализацию SLI/SLO, исследовать возможности Kubernetes API и узнать о 8-летнем опыте создания AdGuard DNS ⤵️
1) Как добыть SLO: источники и инструменты гномов SREдней полосы. Дмитрий Синявский (Ви.Tech)
Если вы стоите в начале пути построения своих SLO/SLI, то этот доклад поможет вам разобраться, с чего начать и как избежать подводных камней при внедрении.
2) Extension API Server в Kubernetes: когда CRD недостаточно. Ярослав Борбат (Флант)
Когда необходимо расширить возможности Kubernetes и добавить новую функциональность, приходит на ум Custom Resource Definitions. И закономерный вопрос: всегда ли CRD достаточно для решения задачи или есть другие подходы, которые можно использовать в разработке под Kubernetes? Попробуем разобраться!
3) AdGuard DNS — от нуля до 100 000 000 пользователей через боль. Андрей Мешков, Константин Замякин (AdGuard)
Доклад — мастхэв для всех, кто хочет узнать историю развития AdGuard DNS и увидеть все те проблемы, которые собрали ребята в процессе реализации DNS-сервиса на 100kk пользователей. В нем реальные кейсы из практики создания одного из самых больших DNS-сервисов в мире.
Встречаемся 23 и 24 июня в Санкт-Петербурге 🙌
✅ Посмотреть программу конференции и забронировать билет можно на сайте
На Saint HighLoad++ 2025 приходите послушать доклады секции, чтобы освоить реализацию SLI/SLO, исследовать возможности Kubernetes API и узнать о 8-летнем опыте создания AdGuard DNS ⤵️
1) Как добыть SLO: источники и инструменты гномов SREдней полосы. Дмитрий Синявский (Ви.Tech)
Если вы стоите в начале пути построения своих SLO/SLI, то этот доклад поможет вам разобраться, с чего начать и как избежать подводных камней при внедрении.
2) Extension API Server в Kubernetes: когда CRD недостаточно. Ярослав Борбат (Флант)
Когда необходимо расширить возможности Kubernetes и добавить новую функциональность, приходит на ум Custom Resource Definitions. И закономерный вопрос: всегда ли CRD достаточно для решения задачи или есть другие подходы, которые можно использовать в разработке под Kubernetes? Попробуем разобраться!
3) AdGuard DNS — от нуля до 100 000 000 пользователей через боль. Андрей Мешков, Константин Замякин (AdGuard)
Доклад — мастхэв для всех, кто хочет узнать историю развития AdGuard DNS и увидеть все те проблемы, которые собрали ребята в процессе реализации DNS-сервиса на 100kk пользователей. В нем реальные кейсы из практики создания одного из самых больших DNS-сервисов в мире.
Встречаемся 23 и 24 июня в Санкт-Петербурге 🙌
✅ Посмотреть программу конференции и забронировать билет можно на сайте
Один из вариантов отдохнуть от кода – посмотреть фильмы. Например, про разработку, хакеров, виртуальную реальность и не очень далекое будущее... 😉
Собрали для вас подборку:
🔴 Периферийные устройства (сериал, 2022). Флинн Фишер тестирует видеоигру и постепенно начинает понимать, что события этой игры происходят в реальности.
Рейтинг Кинопоиска: 7
🔴 Мистер Робот (сериал, 2015–2019). Триллер о хакере, который пытается свергнуть крупную корпорацию, исследующий темы кибербезопасности и психического здоровья.
Рейтинг Кинопоиска: 7,8
🔴 Черное зеркало (сериал, 2011-2019). Антология, исследующая темные стороны технологий и их влияние на общество.
Рейтинг Кинопоиска: 8,5
🔴 Программисты (сериал, 2020). Инженер Лили Чан расследует гибель своего парня и обнаруживает секретное подразделение, которым заведует загадочный Форест.
Рейтинг Кинопоиска: 7,3
🔴 Из машины (фильм, 2015). Молодой человек тестирует женщину-робота с искусственным интеллектом в доме миллиардера, отрезанном от цивилизации.
Рейтинг Кинопоиска: 7,1
🔴 Превосходство (фильм, 2014). Ученый вместе с женой создает искусственный интеллект, стремясь собрать все знания человечества, но сталкивается с противниками.
Рейтинг Кинопоиска: 6,5
🔴 Пи (фильм, 1998). Гениальный математик пытается предсказать фондовый рынок, но однажды его самодельный компьютер сгорает, выдав таинственное 216-значное число.
Рейтинг Кинопоиска: 7,5
🔴 Первому игроку приготовиться (фильм, 2018). В 2045 году игроки ищут цифровое «пасхальное яйцо» в виртуальной реальности OASIS, чтобы унаследовать состояние ее создателя.
Рейтинг Кинопоиска: 7,5
🔴 Тетрис (фильм, 2023). История о том, как западные игровые издатели отправляются в Москву 1980-х добывать лицензии на «Тетрис», созданный советским программистом Алексеем Пажитновым.
Рейтинг Кинопоиска: 7,1
🔴 AlphaGo (2017). Документальный фильм о стремлении компании Deep Mind создать алгоритм, способный лучше человека играть в го — древнюю китайскую игру, которая считается самой сложной из когда-либо придуманных человеком.
Рейтинг Кинопоиска: 8,2
Смотрели ли вы что-то из списка? И, конечно, личные рекомендации приветствуются, поделитесь с коллегами фильмами, которые вам понравились из когда-либо просмотренных 🙌
Собрали для вас подборку:
Рейтинг Кинопоиска: 7
Рейтинг Кинопоиска: 7,8
Рейтинг Кинопоиска: 8,5
Рейтинг Кинопоиска: 7,3
Рейтинг Кинопоиска: 7,1
Рейтинг Кинопоиска: 6,5
Рейтинг Кинопоиска: 7,5
Рейтинг Кинопоиска: 7,5
Рейтинг Кинопоиска: 7,1
Рейтинг Кинопоиска: 8,2
Смотрели ли вы что-то из списка? И, конечно, личные рекомендации приветствуются, поделитесь с коллегами фильмами, которые вам понравились из когда-либо просмотренных 🙌
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4🔥3
День открытых дверей HighLoad++ 2025!
🗓 26 мая, 19:00
📍Москва, офис VK, Ленинградский проспект, 39 стр. 79
🪪 Регистрация на офлайн
🌐 Регистрация на онлайн
⚡Мы открыли прием заявок на доклады на HighLoad++ 2025 и зовем в гости всех, кому интересна конференция: разработчиков, тимлидов, деврелов, архитекторов — опытных и тех, кто только думает подать доклад.
🔴 Расскажем, что нового будет на HighLoad++ 2025.
🔴 Покажем, как устроена программа и как работает наша команда.
🔴 Ответим на вопросы про подачу докладов и отбор.
🔴 Поделимся, почему выступление на HighLoad++ — это не страшно, а классно.
🔴 Познакомимся. Поговорим. Подумаем, как делать конференцию еще сильнее — вместе.
⏳ Закрытие приема заявок — 20 июля
✅ Узнать подробнее и отправить заявку можно на сайте
🗓 26 мая, 19:00
📍Москва, офис VK, Ленинградский проспект, 39 стр. 79
🪪 Регистрация на офлайн
🌐 Регистрация на онлайн
⚡Мы открыли прием заявок на доклады на HighLoad++ 2025 и зовем в гости всех, кому интересна конференция: разработчиков, тимлидов, деврелов, архитекторов — опытных и тех, кто только думает подать доклад.
⏳ Закрытие приема заявок — 20 июля
✅ Узнать подробнее и отправить заявку можно на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3🔥2👍1
Нейронные сети и искусственный интеллект становятся все более актуальными в разработке высоконагруженных систем, позволяя улучшать производительность, безопасность и пользовательский опыт. Интеграция ИИ в архитектуру открывает новые возможности для обработки данных и автоматизации процессов, что делает их более эффективными и адаптивными к меняющимся требованиям рынка.
Знакомим вас со следующими докладами из секции «Нейронные сети и искусственный интеллект (data science)» ⤵️
1) Миллион товаров, опыт один: используем коллаборативные и мультимодальные эмбеддинги для кластеризации. Олег Дурандин (Wildberries&Russ)
Спикер расскажет о пути, который они прошли, чтобы построить кластеризацию товаров на маркетплейсе для решения задач составления тематических подборок для огромного числа товаров и улучшения пользовательского опыта.
2) Как мы создали свое аппаратное решение для измерения габаритов и веса товара с помощью нейросетей и стереокамер. Мария Гафурова (Ozon)
Хотите узнать о подходах к автоматическому измерению товаров по снимку с камер в промышленном объеме? Приходите послушать доклад Марии, в котором узнаете нюансы обучения ML-моделей для точного измерения товаров от маленькой булавки до большой техники.
3) Склад Шредингера: как с помощью компьютерного зрения сократить инцидентность на больших складах логистического оператора. Михаил Красильников (BIA-Technologies)
В докладе пойдет речь об оптимизации затрат на складах с использованием ML. В частности, докладчик расскажет про нюансы обучения моделей и о реальном применении детекторов обнаружения аномального поведения на складах, а также о том, как это помогает экономить большие бюджеты на этапе логистики.
Ждем вас 23 и 24 июня в Санкт-Петербурге на Saint HighLoad++ 2025 🖐️
✅ Программа конференции и билеты на сайте
Знакомим вас со следующими докладами из секции «Нейронные сети и искусственный интеллект (data science)» ⤵️
1) Миллион товаров, опыт один: используем коллаборативные и мультимодальные эмбеддинги для кластеризации. Олег Дурандин (Wildberries&Russ)
Спикер расскажет о пути, который они прошли, чтобы построить кластеризацию товаров на маркетплейсе для решения задач составления тематических подборок для огромного числа товаров и улучшения пользовательского опыта.
2) Как мы создали свое аппаратное решение для измерения габаритов и веса товара с помощью нейросетей и стереокамер. Мария Гафурова (Ozon)
Хотите узнать о подходах к автоматическому измерению товаров по снимку с камер в промышленном объеме? Приходите послушать доклад Марии, в котором узнаете нюансы обучения ML-моделей для точного измерения товаров от маленькой булавки до большой техники.
3) Склад Шредингера: как с помощью компьютерного зрения сократить инцидентность на больших складах логистического оператора. Михаил Красильников (BIA-Technologies)
В докладе пойдет речь об оптимизации затрат на складах с использованием ML. В частности, докладчик расскажет про нюансы обучения моделей и о реальном применении детекторов обнаружения аномального поведения на складах, а также о том, как это помогает экономить большие бюджеты на этапе логистики.
Ждем вас 23 и 24 июня в Санкт-Петербурге на Saint HighLoad++ 2025 🖐️
✅ Программа конференции и билеты на сайте
Процесс сопоставления товаров между собой как в каталогах разных продавцов, так и в каталоге одного продавца очень важен для современной интернет-торговли и эффективной работы маркетплейсов. Но выполнить его по миллионам позиций не так-то просто.
Виталий Кулиев, Data Science Tech Lead из Wildberries&Russ, поделился практическим кейсом использования Llama для мэтчинга товаров. Рассказал, как не заливать проблему деньгами, а найти эффективное решение, которое вы сможете использовать у себя.
➡️ Подробности в статье
Виталий Кулиев, Data Science Tech Lead из Wildberries&Russ, поделился практическим кейсом использования Llama для мэтчинга товаров. Рассказал, как не заливать проблему деньгами, а найти эффективное решение, которое вы сможете использовать у себя.
➡️ Подробности в статье
Хабр
Современные подходы к матчингу товаров с использованием LLM. Опыт в e-commerce
Привет, Хабр! Меня зовут Виталий Кулиев и я Data Science Tech Lead из Wildberries & Russ. На конференции HighLoad++ 2024 поделился опытом своей команды в решении задачи матчинга товаров с помощью...
❤2
Как внедрять, как расследовать инциденты и как сделать свою высоконагруженную систему с̶ч̶а̶с̶т̶л̶и̶в̶о̶й̶ работающей? Как ускорить процесс анализа критичных инцидентов за счет автоматизации рутинных действий?
Ответы на эти вопросы вы найдете в докладах из секции «Эксплуатация систем», о которых рассказываем сегодня. А еще увидите конкретный пример расследования проблемы в работе сложного Java-приложения.
1) Как мы строили наблюдаемость на Open Source в ecom.tech: OpenTelemetry, Qryn и Coroot. Валерий Евдокимов (ecom.tech)
Хороший доклад об инженерной истории развития трейсинга. Ребята пришли от Elastic APM через Grafana Tempo к Qryn+Clickhouse. Также расскажут про то, как дополнили это решение данными от Coroot.
2) Автоматизация Postmortem: баланс между скоростью и качеством анализа критичных инцидентов. Андрей Давыдков (МТС)
У всех случаются инциденты. Но правильной реакции на них не все учатся. В докладе будет освещен опыт компании МТС. Спикер расскажет, как они научились проводить postmortem-анализы, автоматизировали этот процесс и непрерывно его развивают.
3) Сопровождение #каквсбере: СУБД на Java в критичных системах. Илья Шишков (СберТех)
Доклад про то, что траблшутинг высоконагруженных систем заставляет залезать в такие дебри, про которые редко задумываешься, когда читаешь гайды по настройке в интернете.
Ждем вас в Санкт-Петербурге на профессиональной конференции разработчиков высоконагруженных систем Saint HighLoad++ 2025 🖐️
✅ Программа конференции, расписание и билеты на сайте
Ответы на эти вопросы вы найдете в докладах из секции «Эксплуатация систем», о которых рассказываем сегодня. А еще увидите конкретный пример расследования проблемы в работе сложного Java-приложения.
1) Как мы строили наблюдаемость на Open Source в ecom.tech: OpenTelemetry, Qryn и Coroot. Валерий Евдокимов (ecom.tech)
Хороший доклад об инженерной истории развития трейсинга. Ребята пришли от Elastic APM через Grafana Tempo к Qryn+Clickhouse. Также расскажут про то, как дополнили это решение данными от Coroot.
2) Автоматизация Postmortem: баланс между скоростью и качеством анализа критичных инцидентов. Андрей Давыдков (МТС)
У всех случаются инциденты. Но правильной реакции на них не все учатся. В докладе будет освещен опыт компании МТС. Спикер расскажет, как они научились проводить postmortem-анализы, автоматизировали этот процесс и непрерывно его развивают.
3) Сопровождение #каквсбере: СУБД на Java в критичных системах. Илья Шишков (СберТех)
Доклад про то, что траблшутинг высоконагруженных систем заставляет залезать в такие дебри, про которые редко задумываешься, когда читаешь гайды по настройке в интернете.
Ждем вас в Санкт-Петербурге на профессиональной конференции разработчиков высоконагруженных систем Saint HighLoad++ 2025 🖐️
✅ Программа конференции, расписание и билеты на сайте
🔥1
🚀 Спешим поделиться с вами записями трех лучших докладов с конференции TechLead Conf 2024, прошедшей в рамках TeamLead Conf++ 2024. Это ваш шанс узнать о новейших трендах в инженерии и передовых практиках, которые меняют подход к разработке. Не упустите возможность обогатить свои навыки и найти вдохновение для будущих проектов!
1. «Просто о сложном: архитектура фронта для техлида» / Максим Вишневский (Mindbox)
Доклад Максима поможет тимлидам и техлидам кросс-функциональных команд лучше понимать, какие архитектурные сложности стоят на пути создания современных фронтенд-приложений, какие есть пути решения и как лучше выстраивать процессы в команде, чтобы обойти популярные подводные камни.
Смотреть на VK Видео
2. «Микрофронтенды: разбиваемся на кросс-функциональные команды и деплоим без боли» / Александр Гончаров (ГК Юзтех)
Доклад посвящен внедрению микрофронтендов для ускорения разработки и улучшения взаимодействия команд. Вы узнаете, как микрофронтенды помогают создавать кросс-функциональные команды, устранять задержки в деплое и распределять ответственность.
Смотреть на VK Видео
3. «ContractFirst- vs CodeFirst-подходы при построении процесса разработки» / Иван Поддубный (Вебпрактик)
Иван расскажет про особенности подходов ContractFirst и CodeFirst, чем они отличаются. Затронет области применимости того или иного решения. По ходу доклада автор будет акцентировать внимание на организации процессов работы внутри команд.
Смотреть на VK Видео
🔥 Не пропустите конференцию для разработчиков, стремящихся к профессиональному росту — TechLead Conf X 2025. Приглашаем вас 5 июня принять участие в этом важном мероприятии.
На конференции мы поделимся передовым опытом инженерных практик от ведущих технологических компаний, рассмотрим процессы работы с архитектурой, оптимизацию затрат на разработку и обеспечение качества через инженерные практики. Стоимость билета составляет 42000 рублей для офлайн-участников и 21000 рублей для онлайн-участников.
📎 Узнать больше о докладах и расписании конференции, а также забронировать билет можно на сайте.
Ждем вас на TechLead Conf X 2025!
1. «Просто о сложном: архитектура фронта для техлида» / Максим Вишневский (Mindbox)
Доклад Максима поможет тимлидам и техлидам кросс-функциональных команд лучше понимать, какие архитектурные сложности стоят на пути создания современных фронтенд-приложений, какие есть пути решения и как лучше выстраивать процессы в команде, чтобы обойти популярные подводные камни.
Смотреть на VK Видео
2. «Микрофронтенды: разбиваемся на кросс-функциональные команды и деплоим без боли» / Александр Гончаров (ГК Юзтех)
Доклад посвящен внедрению микрофронтендов для ускорения разработки и улучшения взаимодействия команд. Вы узнаете, как микрофронтенды помогают создавать кросс-функциональные команды, устранять задержки в деплое и распределять ответственность.
Смотреть на VK Видео
3. «ContractFirst- vs CodeFirst-подходы при построении процесса разработки» / Иван Поддубный (Вебпрактик)
Иван расскажет про особенности подходов ContractFirst и CodeFirst, чем они отличаются. Затронет области применимости того или иного решения. По ходу доклада автор будет акцентировать внимание на организации процессов работы внутри команд.
Смотреть на VK Видео
🔥 Не пропустите конференцию для разработчиков, стремящихся к профессиональному росту — TechLead Conf X 2025. Приглашаем вас 5 июня принять участие в этом важном мероприятии.
На конференции мы поделимся передовым опытом инженерных практик от ведущих технологических компаний, рассмотрим процессы работы с архитектурой, оптимизацию затрат на разработку и обеспечение качества через инженерные практики. Стоимость билета составляет 42000 рублей для офлайн-участников и 21000 рублей для онлайн-участников.
📎 Узнать больше о докладах и расписании конференции, а также забронировать билет можно на сайте.
Ждем вас на TechLead Conf X 2025!
❤3🔥3👍2