HighLoad++ – Telegram
HighLoad++
6.32K subscribers
2.41K photos
159 videos
16 files
2.26K links
Официальный канал профессиональной конференции разработчиков высоконагруженных систем

Saint HighLoad++ 2026 пройдёт в июне в Санкт-Петербурге: https://highload.ru/spb/2026

Общаемся в чатике https://news.1rj.ru/str/HighLoadTalks
Download Telegram
⚡️Осталось 3 дня до повышения цены⚡️

1 апреля стоимость билетов на Saint HighLoad++ 2023 повысится. Но вы можете зафиксировать текущую стоимость, если забронируете билет до 31 марта. После брони у вас будет несколько дней для оплаты.

Актуальные цены сейчас:

▪️офлайн = 48 000 руб.
▫️онлайн = 24 000 руб.

Ждем вас 26 и 27 июня в Питере 🙌

Пройдите на сайт, чтобы посмотреть уже принятые доклады в программу и забронировать билет: https://vk.cc/cmFfUm
Please open Telegram to view this post
VIEW IN TELEGRAM
👍32🔥2😎1
🗓 Как научить On-Prem Sentry принимать 60 млн событий в сутки? Узнаем из доклада Дмитрия Крапивина

📋 https://vk.cc/cmFvOj

Дмитрий расскажет про то, как они в СберМаркете решали проблемы производительности on-prem Sentry — учили обрабатывать 60 миллионов событий в сутки, для чего пришлось провести оптимизацию почти каждого компонента.

Оптимизировали БД Postgres — научили Sentry работать не только с мастером, но и с репликами. Перенесли хранение событий в s3 и сэкономили 12 ТБ на БД (которые лежали в одной таблице!). Оптимизировали обработку событий из kafka — даже если у вас есть буфер, не значит, что все будет стабильно. Научили работать с шардированным ClickHouse и максимально глубоко погрузились в архитектуру, чтобы достичь производительности, которую не позволяет даже Cloud Sentry.

О боли, муках и страданиях от несовершенства архитектурных решений, что из этого вытекло, над чем пришлось поработать и к чему приложить руку.

Встречаемся в Питере 26 и 27 июня 🙌

Пройдите на сайт, чтобы успеть забронировать билет по самой выгодной цене - https://vk.cc/cmFwft
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3🔥31
📊 Друзья, пройдите, пожалуйста, наше небольшое исследование, а в благодарность вы получите видеозаписи топ-5 докладов конференции HighLoad++ 2022, которая прошла в ноябре 🔥

Тема импортозамещения появилась уже давно, но становится все актуальнее. Как вы справляетесь с уходящими решениями? Нашли уже для себя надежных вендоров? Успели перевезти сервисы и с какими сложностями столкнулись?

Давайте попробуем оценить общую ситуацию в индустрии на текущий момент. Мы обработаем результаты опроса, оформим в виде краткой аналитики и опубликуем в нашем блоге на Habr.

А вендоров самых популярных решений, на которые вы переехали, пригласим на сцену Saint HighLoad++ 2023 🙌

➡️➡️Пройти опрос здесь: https://vk.cc/cmFMiY
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3🔥21
🔄С Дмитрием Гордиевским поговорим о замещении Thales - аппаратных модулей шифрования

📋 https://vk.cc/cmHtvq

Узнаем:

1. Для чего нужны аппаратные модули безопасности и их применение в финтехе.
2. Чем они пользуются сейчас. И почему именно Thales.
3. Аппаратное устаревание модулей - как долго они работают и как часто их нужно менять.
4. Их историю импортозамещения - что случилось и как строился процесс.
5. Организация тестирования оборудования. Тестирование криптоядра и тесты операционной применимости.
6. Что они ожидают от новых модулей и как мигрировать на новое оборудование.
7. Вопросы сертификации и международной дистрибуции.

Ждем вас на Saint HighLoad++ 2023 в Питере или онлайн 🖐

Пройдите на сайт, чтобы успеть забронировать билет по самой выгодной цене сейчас - https://vk.cc/cmHtPK
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4🔥32
⌛️ Остался один день до повышения цены билетов на Saint HighLoad++ 2023

Вы еще успеваете забронировать билет по самой выгодной цене. 1 апреля стоимость станет выше.

За два дня на Saint HighLoad++ 2023 вы:

- услышите доклады на самые актуальные темы для разработчиков высоконагруженных систем
- первыми узнаете тенденции в мире разработки
- систематизируете, подтянете свои знания и приобретете новые
- сможете разобрать свой случай на проекте и получить профессиональный совет от коллег
- отлично и продуктивно проведете время в компании единомышленников

➡️ Забронируйте билет сейчас и у вас еще будет несколько дней для оплаты: https://vk.cc/cmJAyn
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4🔥32
☯️Распределенные графовые СУБД — будущее для аналитики на Больших Данных? Поговорим об этом с Павлом Велиховым

📋 https://vk.cc/cmLfJd

Графовые СУБД в последнее время стали очень популярны для аналитических задач. Традиционно к графовым СУБД относились скептически из-за их производительности и масштабируемости: например, очень популярная СУБД Neo4j пока практически не масштабируется на несколько узлов. Но появились новые системы, изначально разработанные как распределенные графовые СУБД, которые в состоянии уже хранить и обрабатывать десятки терабайт данных, а в скором будущем смогут масштабироваться до петабайт.

В чем существенные отличия графовых СУБД, какие преимущества и новые методы они предлагают для аналитики, и почему будущее аналитики на Больших Данных может оказаться именно за графовыми СУБД?

Встречаемся 26 и 27 июня на Saint HighLoad++ 2023 🖐

➡️ Программа конференции и билеты на сайте - https://vk.cc/cmLg16
Please open Telegram to view this post
VIEW IN TELEGRAM
👍32
🎞 Друзья, ловите свежую подборку видеозаписей докладов конференции HighLoad++ Foundation 2022 из секции «Архитектуры, масштабируемость», которые набрали наибольшее количество просмотров.

Посмотрите сами, поделитесь с коллегами 😉

1) API Gateway — как не допустить хаоса при цифровой трансформации на примере телеком-оператора. Алексей Коновкин (Nexign) https://vk.cc/cmLrH5

2) Паттерны отказоустойчивой архитектуры. Александр Кривощёков (Яндекс.Еда) https://vk.cc/cmLrYj

3) Визуальное проектирование масштабируемых приложений. Максим Цепков (CUSTIS) https://vk.cc/cmLsbN

4) VK Видео: архитектура крупнейшей видеоплатформы на 4 Тбит/с. Александр Тоболь (ВКонтакте, VK) https://vk.cc/cmLsqU

5) SLI/SLO/SLA в микросервисном приложении. Павел Лакосников (Авито) https://vk.cc/cmLsGb

Отличных выходных и продуктивного просмотра 🙌

Ждем вас на Saint HighLoad++ 2023
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥11👍6🆒31
Всё, везде и сразу: о трейсинге в условиях хайлоада и 10к бэкендов поговорим с Александром Кирсановым

📋 https://vk.cc/cmPUrf

Поговорим о том, как они расширяли distributed tracing под нужды ВКонтакте. Сама по себе технология понятна — это сбор информации о взаимодействии между элементами системы при обработке запроса. Есть и популярные инструменты для хранения и визуализации трейсов: например, Jaeger и Sentry. А также способы их сбора из прикладного кода (tracing SDK для различных языков).

Как и другие стандартные инструменты, встречаясь с реальным хайлоадом они дают трещины. Что если они хотят хранить данных больше, чем позволяет стандарт? Что если они хотят трекать память в условиях асинхронных корутин? Что если данных очень много, а они хотят трейсить каждый-каждый запрос с минимальным оверхедом и существующие SDK для их продакшена не подойдут?

Александр расскажет, как они в целом переосмысливали процесс трейсинга, упёршись в подход Open Telemetry. В итоге у них получилась более богатая модель данных, при этом сбор трейса на реальном проде получился практически zero overhead.


🖐 Присоединяйтесь к нам 26 и 27 июня на Saint HighLoad++ 2023

Программа конференции и билеты на сайте - https://vk.cc/cmPUHW
3🔥3👍2
🚀Как сделать быстрого голосового ассистента? Узнаем из доклада Арслана Урташева

📋 https://vk.cc/cmRbYF

Они стремятся делать так, чтобы Алиса была человечным ассистентом. Один из важных аспектов - умение вести диалог на такой же скорости, как и человек. В своем докладе Арслан расскажет, как устроена Алиса и какие ключевые оптимизации скорости сделаны в системе.

Ждем вас 26 и 27 июня на Saint HighLoad++ 2023 🙌

➡️ Чтобы узнать подробнее о конференции перейдите на сайт - https://vk.cc/cmRcd7
Please open Telegram to view this post
VIEW IN TELEGRAM
👍42
2️⃣Вторая часть статьи про путь от монолита до независимых микрофронтендов с использованием Webpack Module Federation.

Первая история закончилась на сбое, после которого было решено начать распил с личного кабинета. Его проще пилить на микрофронтенды, потому что код разделен по модулям, бизнес-логика замкнута в конкретном модуле, а общие части вынесены в общие библиотеки. В общем, пилу снова достали и пора опять делать модули отдельными приложениями.

Максим Смирнов из команды Тинькофф расскажет про проблемы, с которыми они столкнулись, и о том, что накрутили сверху данного плагина для реальной независимости команд и приложений. То есть, всё как было на самом деле.

➡️Заходите на распил: https://habr.com/ru/companies/oleg-bunin/articles/726880/
Please open Telegram to view this post
VIEW IN TELEGRAM
👍42
💠Эволюцию микросервисной архитектуры Aнтиспама Почты Mail.ru обсудим с Константином Хицко

📋 https://vk.cc/cmSM4s

Для того, чтобы защитить пользователей почты mail.ru от вредоносных писем и сообщений Антиспам Почты Mail.ru проверяет более 400 млн писем ежедневно.

На проверку каждого письма у них есть меньше 350 мс, за это время нужно распарсить письмо, сходить в большое количество баз данных, прогнать несколько ML-моделей, запустить бизнес-логику и выдать заключение - содержится в письме или в сообщении вредоносный контент, спам или фишинг и блокировать доставку до конечного пользователя.

Эта накладывает дополнительные ограничения на скорость и стабильность работы архитектуры антиспама.

Антиспам сегодня это 500 серверов, 40+ сервисов, работающих в k8s (более 7000 подов), размер hadoop-кластера 5+ PB.

В своем докладе, на основе нескольких примеров, Константин расскажет, как на основе анализа произошедших инцидентов и ошибок эволюционировала архитектура антиспама, какие архитектурные решения оказались наиболее эффективными, а какие не сработали и почему.

Встречаемся 26 и 27 июня в Питере на Saint HighLoad++ 2023 🙌

➡️➡️ Пройдите на сайт, чтобы узнать подробнее о конференции и купить билет - https://vk.cc/cmSMkN
Please open Telegram to view this post
VIEW IN TELEGRAM
5🔥4👍3
💬 После февраля 2022 года ничего не остановилось. Люди продолжают пользоваться мобильными сервисами, доставкой еды и маркетплейсами.

Все это как и прежде работает, а значит нужно заниматься поддержкой и развитием IT-инфраструктуры. Просто надо адаптироваться, забыть, по крайней мере, на время про тех вендоров, что ушли и научиться жить с тем, что осталось.

Технический директор Selectel Кирилл Малеванов расскажет на основе каких решений и с какими поставщиками можно продолжать развивать свою инфраструктуру, а главное — сколько всё это теперь стоит.

➡️Читать статью: https://habr.com/ru/companies/oleg-bunin/articles/
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7👎6👌1
🟦 Feature store: Анастасия Тушканова расскажет, как они совместили высокую производительность и безграничные потребности data scientist’ов

📋 https://vk.cc/cmWpjv

Поиск - одна из самых высоконагруженных и одновременно прибыльных систем в Озоне. Какие товары показать пользователю, чтобы он вероятнее что-то купил? Эту задачу решает команда ранжирования поиска, а Анастасия с командой создают для них и их экспериментов инфраструктуру. ML-модели ранжирования становятся сложнее, товаров на маркетплейсе становится больше, а поиск должен работать также быстро.

Из доклада узнаем:

- какой путь проходит товар, чтобы оказаться в выдаче поиска,
- зачем им понадобилось создавать целую систему хранения ML-фичей с нуля,
- какие хаки они применили для уменьшения latency всего поиска,
- что сделали, чтобы справляться с миллионами запросов в секунду на терабайтные базы данных,
- как data scientist’ы получили возможность ставить AB-эксперименты не только с разными моделями, но и с по-разному посчитанными фичами,
- как они минимизировали временные затраты разработчиков на добавление новых видов фичей.

Встречаемся 26 и 27 июня на Saint HighLoad++ 2023 🙌

➡️ Чтобы узнать подробнее о конференции и забронировать билет перейдите на сайт: https://vk.cc/cmWpCT
Please open Telegram to view this post
VIEW IN TELEGRAM
👍43
💥 Прокачайте за 4 дня свои hard- и soft-skills и сэкономьте до 30%

Друзья, у вас есть отличная возможность выгодно купить билеты на две конференции в июне:

- для разработчиков высоконагруженных систем Saint HighLoad++ 2023
- для тимлидов, руководителей и топ-менеджеров Saint TeamLead Conf 2023

При покупке мультибилета сразу на обе конференции, вы получаете скидку:

▪️30% при покупке онлайн-билета
▫️20% при покупке офлайн-билета

Вас ждут уникальные программы каждой конференции, решения конкретных задач, обмен опытом с лидерами отрасли, общение с единомышленниками, вдохновение, позитив и энергия. Не упустите шанс первыми узнать о новейших технологических решениях IT-индустрии и полезный опыт в управлении

🙌 Встречаемся в Санкт-Петербурге:

26 и 27 июня на Saint HighLoad++ 2023
29 и 30 июня на Saint TeamLead Conf 2023


Купить мультибилет здесь ⬇️
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3🔥3
🗓 Протокол MirAccept 2.0: что нас ждёт дальше? Расскажет в своем докладе Алексей Касякин

📋 https://vk.cc/cn0wFE

Узнаем:

Сервис MirAccept - что это
Какие задачи решает протокол MirAccept 2.0
Что нового по сравнению с устаревшим протоколом MirAccept 1.0
Верхнеуровневый обзор технологии
Применение систем рискового анализа
Как в будущем изменится клиентский опыт

Встречаемся 26 и 27 июня на Saint HighLoad++ 2023 🙌

➡️ Узнать подробнее о конференции и забронировать билет на сайте - https://vk.cc/cn0wUj
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8🔥3👏3
🔺 Про реинкарнацию одной Zettabyte файловой системы поговорим с Георгием Меликовым

📋 https://vk.cc/cn2kMC

Какую файловую систему выбрать? В чём разница? Почему автор доклада стал контрибьютором OpenZFS?

Поcмотрим на проверенную боем Zettabyte file system, изучим её архитектуру и концепты в сравнении с другими файловыми системами, почему её хочется использовать (кто сказал "деградация данных"?), и когда её использовать не стоит (ммм, zero copy в Copy-on-Write).

Также не забудем о людях - обсудим коммьюнити, основные драйверы, как ФС может быть по настоящему кроссплатформенной, пережить родную ОС, и как ФС может жить вне ядра, не скатываясь в совсем нишевый продукт.

Ждем вас 26 и 27 июня на Saint HighLoad++ 2023 🖐

➡️ Узнать подробнее о конференции и забронировать билет на сайте - https://vk.cc/cn2laR
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥43👍2
🖥 Давайте разберемся как получилось, что почти 13 лет назад развлекательное видео смигрировало с кодеков mpeg2 и mpeg4 на H264, и на этом остановилось его фактическое развитие, несмотря на наличие альтернатив типа AV1 и H265.

Почему транспорты видео сначала переехали с UDP к TCP, а сегодня возвращаются обратно на UDP? И в целом какие тренды сейчас есть в индустрии онлайн-видео, откуда они взялись, что скоро отомрёт, а что наоборот продолжит развиваться.

Обо всём об этом расскажет Максим Лапшин из ООО «Эрливидео». Он давно этим занимается и большая часть развития онлайн-видео технологий происходила прямо на его глазах. Так что ему есть чем поделиться.

➡️ Читать статью: https://habr.com/ru/companies/oleg-bunin/articles/728518/
Please open Telegram to view this post
VIEW IN TELEGRAM
👍51🔥1
🗣Антон Жаболенко и Павел Пархомец расскажут об управлении доступом в распределённой Linux-инфраструктуре

📋 https://vk.cc/cn3yJp

Из доклада узнаем, что такое система управления привилегированным доступом (PAM), зачем она нужна и каким критериям она должна соответствовать. Антон и Павел проведут краткое сравнение различных подходов к управлению доступом в высоконагруженных и распределённых Linux-инфраструктурах.

Расскажут про свой опыт проектирования и внедрения системы управления доступом на основе open source решений и собственных разработок. Подробно остановятся на том, как внедрение таких систем влияет на изменение процессов эксплуатации, разработки и DevOps, а также разберёмся, влияют ли эти системы на time to market.

🖐 Присоединяйтесь к нам 26 и 27 июня на Saint HighLoad++ 2023

➡️ Чтобы узнать подробнее о конференции и купить билет пройдите на сайт - https://vk.cc/cn3z8s
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥31
🔄 Как организовать разработку, чтобы prod не лежал? Узнаем из доклада Антона Полухина

📋 https://vk.cc/cn6cTp

Дано: высокая нагрузка, простои недопустимы. Нужно добавить новую фичу, а мы стажёр/новичок/впервые-видим-проект

Антон покажет на практике, как им помогают некоторые подходы избежать множества проблем. Большая часть того, о чём пойдёт речь доступно во фреймворке userver, но должно быть легко применимо и для ваших случаев.

Присоединяйтесь к нам 26 и 27 июня на Saint HighLoad++ 2023 🙌

➡️Подробнее о конференции здесь - https://vk.cc/cn6dis
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥31👍1
📱Через VK Звонки ежедневно общаются миллионы людей и качество звука должно их удовлетворять. И в машине, и со смартфона в гарнитуре или динамиках, и даже при плохом сигнале интернет-соединения. Но как же измерить это самое качество и обеспечить его на таком высоконагруженном проекте?

Руководитель команды бэкенда VK Звонки Алексей Шпагин расскажет, как они справляются с этой задачей. Как делают последовательные замеры и улучшают качество звука в массовом сервисе звонков, и с использованием стандартных браузеров, и с нативными клиентами. Как оценивают эффективность собственных доработок и улучшений.

📍Читать статью: https://habr.com/ru/companies/oleg-bunin/articles/
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍2🔥1👏1
🗣Warden - Ильяс Нежибицкий расскажет, зачем им свой service mesh

📋 https://vk.cc/cn7ISh

Проблема дискаверинга и балансировки нагрузки в межсервисном взаимодействии не новы. На рынке существует ряд готовых решений, реализующий все виды дискаверинга и балансировки (reversed-proxy, client-side load balancer в связке с control-plane). Из популярных: nginx, isito и ряд других решений. Но около 3 лет назад они в Ozon решили пойти своим путём, реализовав свое решение для service discovery и client-side load balancing.

В докладе будут рассмотрены основные принципы и механизмы, по которым работают service discovery и load-balancing решения, а также обозначены проблемы, с которыми вы можете столкнуться в ходе эксплуатации готовых решений или реализации собственного и возможные пути их решения.

Также в докладе пойдет речь о всем функционале, которым собственное решение Ozon отличается от аналогов и что из него оказалось действительно полезным, а что пришлось отложить и пометить как deprecated.

Присоединяйтесь к нам 26 и 27 июня на Saint HighLoad++ 2023 🙌

➡️Программа конференции и билеты на сайте - https://vk.cc/cn7J4n
Please open Telegram to view this post
VIEW IN TELEGRAM
👍41