🔹 Дедупликация 5 миллионов событий в секунду на YDB в АппМетрике – тема доклада Артема Исмагилова
⠀
📋 https://bx.vc/3d15tm
⠀
Артем кратко расскажет про конвейер обработки событий аппметрики:
⠀
- какие задачи он решает;
- общая архитектура: примерно 50 микросервисов, передающие информацию через ClickHouse и ZooKeeper;
- нагрузка в числах — 250 миллиардов событий в день, до 7 миллионов RPS в пике;
- зачем нужен сервис дедупликации.
⠀
Про сервис дедупликации узнаем:
⠀
- как была устроена прошлая версия сервиса: физические сервера с состоянием в оперативной памяти, сохраняемым на диск и самодельной репликацией;
- подходы к реализации новой версии, которые рассматривали;
- почему выбрали именно YDB для реализации новой версии сервиса;
- с какими трудностями столкнулись и как их преодолели;
- как уменьшили нагрузку на YDB в 10 раз, добавив фильтр блума в виде отдельной таблицы YDB;
- что еще предстоит сделать.
⠀
✅ Программа конференции и билеты здесь – https://bx.vc/v8qdsb
⠀
До встречи в Питере 🙌

✋ Владимир Меркулов и Василий Вологдин расскажут, как они подружили биореакторы и ML
⠀
📋 https://bx.vc/vo1m77
⠀
Когда речь заходит о машинном обучении в фармацевтических компаниях, таких как BIOCAD, то большинство специалистов подразумевает участие Data Scientist'ов в процессе разработки лекарственных препаратов. В докладе Владимир и Василий посмотрят на этот вопрос немного под другим углом и расскажут о том, какие еще задачи решаются при помощи машинного обучения в фармацевтических компаниях, в том числе как алгоритмы машинного обучения помогают решать задачи на производственных линиях и какую архитектуру они для этого используют.
⠀
Также узнаем о том, с какими трудностями они столкнулись при разработке, и каким образом выстраивалось взаимодействие между специалистами службы АСУ ТП и специалистами по машинному обучению.
⠀
Ждем вас 22 и 23 сентября в Петербурге 🙌
⠀
✅ Программа конференции и билеты здесь - https://bx.vc/0kh5bt

👉 Без АВ - результат ХЗ или как мы построили платформу АВ-тестов в Ozon – расскажет Евгений Пак
⠀
📋 https://bx.vc/qzoaf0
⠀
Евгений расскажет про техническую реализацию платформы А/B-тестов в компании Озон. А именно:
⠀
- об эволюции A/B-тестов в компании. О том, как они шли от простого к сложному длиной в несколько лет;
- как построена архитектура платформы A/B-тестов в общей экосистеме Ozon;
- как они обеспечили интеграцию любого сервиса в компании. Интегрировано более 150 сервисов, причем каждый сервис работает с уникальным набором атрибутов для тестирования;
- и даже секрет молниеносного ответа при высоком RPS. Каждый запрос на сайт Ozon.ru идет в платформу A/B-тестов, а вы этого даже не замечаете.
⠀
Также узнаем о том, как платформа A/B-тестов повлияла на бизнеc-процессы важнейших направлений компании. Так как это не просто технический инструмент, а путь продуктового мышления.
⠀
✅ Узнать программу конференции и купить билеты по ссылке – https://bx.vc/wl5s3i
⠀
До встречи 🙌

🔹 Общий флоу разработки в Ozon. Как сделать жизнь разработчиков проще? Обсудим с Даниилом Разумовым
⠀
📋 https://bx.vc/cevs1u
⠀
Тезисы доклада:
⠀
- Рассказ о том, как раньше жили разработчики в Ozon и почему жить было не так просто.
- C чего начали проектировку общего flow разработки.
- Как все устроено внутри архитектурно.
- Как внедряли flow и с какими проблемами столкнулись при разработке и внедрении.
- Что изменилось и что стало лучше?
- Сделаем выводы, что стоит использовать, а на какие грабли лучше не наступать.
⠀
📍Ждем вас на Saint HighLoad++ 22 и 23 сентября
⠀
✅ Программа конференции и билеты здесь - https://bx.vc/g3lux5

💥 Евгений Россинский из ivi, участник Программного комитета Saint HighLoad++, в коротком интервью отвечает на вопросы:

- Что для Вас значит конференция HighLoad++
- Что сейчас заботит разработчиков? Какие вызовы и перспективы
- Какую пользу от конференции Вы получили
- Что запомнилось и впечатлило больше всего

✅ Ждем вас 22 и 23 сентября на Saint HighLoad++ 2022 https://bx.vc/wn4tem

Могут ли данные управлять аппаратной конфигурацией дата-центра? Узнаем из доклада Павла Лавренко и Антона Катенева
⠀
📋 https://bx.vc/exzwnl
⠀
Как не сделать ошибку при выборе платформы и как выжать все из производительности вашего железа и емкости ваших систем хранения? А что, если позволить данным управлять вычислительной конфигурацией сервера, каналами связи, системами хранения и резервирования?
⠀
Они разработали универсальную платформу, позволяющую соединить управление аппаратной конфигурацией, создание систем хранения "по запросу", управления данными и задачами обработки в едином подходе. И это только часть того, чем она может управлять.
⠀
Как это работает, чего они достигли и с какими сложностями столкнулись — расскажут о своем опыте решения сложной задачи построения платформы обработки данных с Большого Адронного Коллайдера (LHC) в Открытом Институте Ядерных Исследований в г. Дубна.
⠀
✅ Информация о конференции, расписание и билеты по ссылке – https://bx.vc/d6drfs
⠀
Встречаемся 22 и 23 сентября ✋

Одним из спикеров Saint HighLoad++ будет Михаил Кабищев, он расскажет про одну платформу, чтобы править всеми
⠀
📋 https://bx.vc/qavcci
⠀
За последние 4 года Ozon пережил не только бизнес, но и технологическую революцию: на замену нескольким огромных монолитам пришли тысячи микросервисов, написанных на разных языках. В процессе бурного роста Михаил с командой не хотели тратить ценное время инженеров и получить десяток решений для одной и той же проблемы, которые впоследствии нам нужно было бы поддерживать. Поэтому им было важно создать набор строительных кубиков, правил и процессов, на основе которых строятся все системы и продукты в компании.
⠀
Михаил расскажет про их платформу:
⠀
- что это такое и зачем она нужна;
- конвенции и стандарты;
- на чем они пишут сервисы: языки и фреймворки;
- как они их запускают: CI/CD и прочие прелести;
- все-as-a-service: S3, kafka, cache и т.д.
⠀
И многое другое.
⠀
Присоединяйтесь к нам 22 и 23 сентября 🙌
⠀
✅ Подробно о конференции и билеты по ссылке - https://bx.vc/6stc84

Вторая космическая: как преодолеть притяжение внутренней платформы разработки и выйти в открытый код? Расскажет в своем докладе Анастасия Абрашитова
⠀
📋 https://bx.vc/2k8j1e
⠀
Внутренняя платформа разработки — мощный инфраструктурный двигатель. Проекты запускаются быстро, легко взаимодействуют друг с другом и расширяются, а эксперты по инфраструктуре сидят за соседними столами и готовы помочь. Тепло, лампово, уютно. Но вот проект решил выйти в open source, и тут внутренняя платформа начинает нам скорее мешать, чем помогать.
⠀
Из доклада узнаем об экосистеме инструментов разработки, созданной в Яндексе. Анастасия подсветит проблемы, которые нужно преодолеть, чтобы выйти в мир открытого кода. Покажет, как преодолевают их они, и какие планы на развитие системы опенсорсного синка ждут нас в будущем.
⠀
✅ Подробная информация, расписание и билеты на сайте – https://bx.vc/w9h59b
⠀
Встречаемся 22 и 23 сентября в Санкт-Петербурге и онлайн по всему миру 🙌

👉 Какие есть границы в PHP? Синтаксические они или это рантайм, или же просто ограничения языка, которые нельзя обойти. Почему они существуют? Хотите преодолеть границы живого языка и взломать его изнутри? Вроде бы интересно, но непонятно зачем это нужно?
⠀
Загибайте пальцы: более быстрый доступ к оборудованию (CUDA, GPU), нативному машинному коду (SSE, AVX), создание библиотек для эффективных матричных операций и машинного обучения, стабильный API для пользовательских расширений PHP, манипуляции с OpCode, операции поддержки высокоэффективного железа и многое другое. Обо всем этом можно узнать из статьи ⤵️
⠀
https://bx.vc/6aa37u

Про историю и будущее поиска расскажет Андрей Аксенов
⠀
📋 https://bx.vc/ekfont
⠀
Поисковым системам, на минуточку, уже больше 60 лет, и вымирать они не собираются. За это время человечество придумало и опробовало много разных теорий и техник. Что-то застряло в вечности практически навсегда, что-то напрочь уже забылось. Попробуем пробежать все эти 60 лет за 30 минут!
⠀
Обзорно поговорим про историю и современность технологий "просто" поиска (матчинга документов об слова), ранжирования наматченного, сжатия индексов, нехитрой прикладной лингвистики. Пробежимся по нескольким десяткам важных ключевых слов, и по топ-3 победивших на сегодня (и нет, это не Google плюс Elastic плюс хзчто, это IF плюс BM25 плюс PFD).
⠀
И попробуем на полсекунды заглянуть в будущее с пониманием, что там сделано и делается в настоящем.
⠀
Встречаемся 22 и 23 сентября в Санкт-Петербурге ✋
⠀
✅ Подробно о конференции, программа и билеты здесь - https://bx.vc/e7htmj

👉 Как легче всего в чём-то разобраться? Попробовать сделать своими руками под руководством специалиста. Руководитель центра мониторинга и наблюдаемости в МТС Digital, Филипп Бочаров, предлагает вместе спроектировать коммунальную систему и собрать в ней распределенную трассировку всей экосистемы МТС.
⠀
Потом отмасштабировать ее от 0 до 50 тысяч документов в секунду и посмотреть, как изменится архитектура, откуда берутся потери и пиковые нагрузки, какие есть пределы и ограничения. Все на примере реальной распределенной трассировки экосистемы МТС ⤵️
⠀
https://bx.vc/4rf71z

📝 Авторы в Дзене и как мы ищем их аудиторию – тема доклада Анастасии Павловской
⠀
📋 https://bx.vc/7sg0fc
⠀
Дзен — это площадка, где пользователь находит контент для себя, а авторы — свою аудиторию. Задача Анастасии и команды — с помощью механизмов рекомендаций облегчить поиск аудитории для креатора.
⠀
На первый взгляд, задача очень похожа на задачу рекомендаций холодного контента, однако на практике она оказывается на порядок сложнее.
⠀
Если в «холодном старте» контента можно использовать статистики взаимодействия автора с пользователями и реакции подписчиков, которые первые видят айтем, то в их задаче такой коллаборативной информации нет. Стандартные контентные похожести айтемов использовать «из коробки» тоже не получится.
⠀
Анастасия расскажет, как они сталкивались с проблемами и решали их: как научились определять похожести авторов и автоматически подбирать для них подходящую аудиторию.
⠀
📍Встречаемся 22 и 23 сентября в Петербурге.
⠀
✅ Программа конференции и билеты здесь - https://bx.vc/9k55qi

🔥 Email-курс для тех, кто только входит в тему высоких нагрузок
⠀
Друзья, если ваш проект совсем недавно стал высоконагруженным, и вы уже хватаетесь за голову — как масштабироваться дальше, как поддерживать отказоустойчивость — подписывайтесь на курс HighLoad++ Junior.

➡️ 30 простых и логичных лекций от топовых разработчиков помогут вам понять базовые основы разработки highload-систем. Вы пройдете все этапы от самых общих вещей проектирования до понимания деталей разработки крупных систем и начнёте думать как разработчик высоконагруженных проектов.

Поговорим вот о чём:

- Логика проектирования и архитектура крупных проектов.
- Проблемы нагрузки на базу данных.
- Масштабирование базы данных через шардирование и партиционирование.
- Кеширование, NoSQL, очереди.
- Поиск, Hadoop и бинарные хранилища.
⠀
А если вы и так уже всё понимаете про высокие нагрузки, перешлите этот пост менее опытным коллегам.
⠀
✅ Подписаться на курс HighLoad++ Junior - https://bx.vc/3p2i4n

➡️ О применении машинного обучения в анализе научных данных расскажет Александр Прошунин
⠀
📋 https://bx.vc/zn2zii
⠀
Методы искусственного интеллекта (ИИ) демонстрируют свою эффективность не только в области современных IT-технологий, но и в области фундаментальных научных исследований. Распознавание образов для обработки большого числа изображений, удаление шумов из сигнала и многое другое — базовые задачи в области ИИ.
⠀
Александр продемонстрирует применение МО в области анализа спектров в сравнении с классическими подходами. Будет описан полный путь от сбора данных, их подготовки и построения решения задачи с нетипичным функционалом ошибки, который полностью строится, исходя из задачи.
⠀
Второй задачей будет рассмотрена классификация режимов сложных динамических систем. Применение метода показателей Ляпунова полностью отвечает на этот вопрос.
⠀
✅ Подробная информация о конференции, расписание и билеты по ссылке – https://bx.vc/ihv62w
⠀
До скорой встречи в Питере, друзья 🙌

Архитектура: история и будущее на примере ВКонтакте обсудим с Александром Тоболем, техническим директором ВКонтакте, VK Видео и VK Звонков

📋 https://bx.vc/bq0iv6

В докладе рассмотрим, как эволюционировали архитектуры нагруженных проектов: от общих принципов до подходов к реализации отдельных паттернов и выбора инструментов. Разберём, как это отражалось на архитектуре ВКонтакте, и посмотрим, как развивался проект с 15-летней историей, кодовой базой в восемь миллионов строк и ежемесячной аудиторией в 100 млн пользователей:

- эволюция архитектур
- как устроена архитектура ВКонтакте
- как они эксплуатируют систему с более чем 20 000 серверов
- где и как они хранят данные пользователей
- как доставляют данные
- зачем им свой компилятор
- баланс uptime и time-to-market
и много другое.

Также Александр затронет проблемы, которые можно более эффективно решать не на уровне архитектуры.
⠀
Присоединяйтесь к нам на Saint HighLoad++ 22 и 23 сентября ✋
⠀
✅ Программа конференции и билеты здесь - https://bx.vc/3bz8q3

💥 Реализовать вау-фичи и задрайвить рост проекта? Задействуем Machine Learning (ML).
Сделать удобнее базовые элементы сервисов? Тоже ML.

Технологии машинного обучения — это ответ на все вопросы и must have для тех, кто смотрит в будущее.

При поддержке VK на Saint HighLoad++ представлен целый трек докладов на эту тему. Поговорим о том, как на базе ML создавать практичные решения, готовые к большим нагрузкам. Расскажем, как встраивать их в существующие пайплайны и эксплуатировать в продакшене.

✅ Программа ML-трека - https://bx.vc/eirp33

🖐️ Встречаемся на Saint HighLoad++ 22 и 23 сентября.

Присоединяйтесь, будет полезно!

Про 10 мс на ответ с транзакциями, большими данными, гибкой логикой и OpenSource узнаем из доклада Владимира Богдановского
⠀
📋 https://bx.vc/iio7ix
⠀
Связываем два OpenSource-хранилища через очереди внутри сервисной платформы и получаем надежную строго-согласованную систему с очень быстрым доступом и безграничной адаптацией к нагрузке в операциях поиска, обновления, получения и слияния объектов и их состояний.
⠀
Добавив высокие требования к качеству и безопасности данных, имеем отличное решение для работы с банковскими данными. 5000 RPS при 10 мс на ответ на 40 Тб данных и это не предел — это сделано у них в банке и Владимир хочет поделиться этим опытом.
⠀
✋ Ждем вас на 22 и 23 сентября Saint HighLoad++
⠀
✅ Программа конференции и билеты здесь - https://bx.vc/yzo1lu

📱 Историю онлайн-видео узнаем от Максима Лапшина, он давно занимается потоковой передачей видео
⠀
📋 https://bx.vc/0kfzqa
⠀
Основное использование онлайн-видео в интернете — это развлечения, которые съедают до 4 часов в день у горожанина. Звонки между людьми и видеонаблюдение живут довольно обособленно и сильно меньше по трафику.
⠀
Как так получилось, что развлекательное видео смигрировало почти 13 лет назад с кодеков mpeg2 и mpeg4 на H264 и на этом остановилось фактическое развитие, несмотря на наличие альтернатив типа AV1 и H265?
⠀
При этом транспорты видео совершили миграцию с UDP к TCP, а сегодня переезжают обратно на UDP?
⠀
Как мы оказались в такой ситуации, какие явления в индустрии развлекательного видео способствовали этому?
⠀
🔥 Уже совсем скоро встречаемся на Saint HighLoad++
⠀
✅ Программа конференции и билеты на сайте - https://bx.vc/8cg3nv

Всем привет! Начинаем знакомить вас с докладами ML-трека на Saint HighLoad++, который пройдет при поддержке VK.

Любовь Рожкова из S7 TechLab расскажет об аналитике по самолетам S7: pets vs cattle.
⠀
📋 https://bx.vc/xzxnub
⠀
Для нас полеты это поиск билетов и "пристегните ремни". Для программистов в авиакомпании это полное т/о самолетов раз в два года, проверки раз в два дня, штрафы в сотни тысяч долларов за задержку в десять минут. Бизнес хочет, чтобы программисты как можно точнее предсказывали время обслуживания самолета по совсем скромному количеству исторических данных.
⠀
Узнаем, как специфика авиации и небольшое количество, по меркам HighLoad, данных заставляет их искать необычные подходы. Пока все обучают AI на океанах размеченных данных, они используют "немодные" решающие деревья, которые можно обучить на выборке в сотни строк. Создают системы, которые объясняют инженерам оценки и позволяют им самим делать "очистку" данных.
⠀
✅ Программа ML-трека - https://bx.vc/b3dkve
⠀
До скорой встречи в Питере 🙌

Всем привет!
⠀
На конференциях в основном принято говорить о своих победах и крутых результатах, а вот об ошибках рассказывают гораздо меньше. В этот раз на Saint HighLoad++ мы собрали фейл-секцию, которая состоит только из ошибок, чтобы вы их не повторяли.
⠀
👉 Fail митап: This is fine или все делают это
📋 https://bx.vc/tkb0p5
⠀
Это серия коротких выступлений про самые тривиальные, неочевидные или болезненные фейлы из живого опыта.
⠀
Расскажем, что случилось и как случилось, ответим на вопросы. Если останется свободное время, участники смогут поделиться своими историями.
⠀
Без камер, записи и трансляции.
⠀
До скорой встречи в Питере 🙌
⠀
✅ Подробная информация о конференции, расписание и билеты здесь - https://bx.vc/31h0ny

Как понять, что проекту плохо, если вы инженер? Узнаем из доклада Юлии Белозеровой
⠀
📋 https://bx.vc/evpn2b
⠀
На примере проекта про миграцию в облако Юлия расскажет, на что инженеру обращать внимание, чтобы вовремя поднять флажок и проект не зафейлился.
⠀
В командах часто есть проблема: инженеры работают работу, а все происходящее между менеджером и заказчиками остается загадкой. Поговорим, какие вопросы задать менеджеру, чтобы понять общую картину проекта.
⠀
Узнаем, как понять, что проект провалится до того, как это заметит менеджер. Покажет, на чем фокусироваться, чтобы исправить курс проекта и увеличить шансы на успех, даже когда все уже плохо.
⠀
Ждем вас на Saint HighLoad++ 22 и 23 сентября в Петербурге или онлайн по всему миру ✋
⠀
✅ Программа конференции и билеты здесь - https://bx.vc/057pgc