⏺С Олегом Романенко обсудим HighLoad для "маленьких"
⠀
📋 https://bit.ly/3pcfOFm
⠀
MediaSniper за 8 лет прошел путь от пустого репозитория до одной из ведущих рекламных платформ в России.
Когда у вас небольшой стартап и нет бесконечных аппаратных ресурсов, приходится очень тщательно принимать технические решения. Нельзя просто взять проект с github, дописать к нему немного кода и надеяться, что этого достаточно для обработки сотен тысяч RPS.
⠀
Задача платформы - отвечать на http запрос с задержкой не более 50мс и обслуживать тысячи запросов в секунду (сейчас более 500 000 RPS). Олег покажет, какие решения принимали в области архитектуры, системного ПО, инфраструктуры и собственно, разработки.
⠀
- Собственные сервера + docker, чтобы нивелировать различия в установленных версиях ОС и пакетов.
- Они любят микросервисы и shared nothing и стараются избегать решений с единой точкой отказа. Все, что можно задублировать - должно быть задублировано.
- KV БД Aerospike - их главный помощник. Невозможно или слишком дорого держать вообще всю рабочую информацию на каждой ноде.
- Своя библиотека для асинхронного http client/server - позволяет мультиплексировать запросы и заполнять канал, экономя соединения. Они, как и большинство, все еще живут в мире http 1.1
- Своя библиотека для map/reduce, чтобы обрабатывать 40Тб данных в сутки
- У них нет silver bullet, они просто хотят поделиться радостью, что оно работает :)
⠀
🖐 Присоединяйтесь к нам 26 и 27 июня на Saint HighLoad++ 2023
⠀
✅ Программа конференции и билеты на сайте - https://bit.ly/3Vtpnvz

⏺Уроки из проекта с коммитом 2001 года расскажет Василий Романов
⠀
📋 https://bit.ly/419C67V
⠀
Поговорим вот о чем:
⠀
- обзор must-have вещей в большой проекте
- spec-first
- supportability, линтеры и документация
- коммит из 2001 года.
- опыт в крупных проектах
- готовность к высокой нагрузке
- что такое это вообще высокая нагрузка
- основная проблема нагрузки
- что вообще болит в больших проектах
- какие минусы есть у микросервисов
- когда не надо писать микросервисы
- какие проблемы вы будете решать, когда у вас все стало круто с микросервисами
⠀
До встречи на Saint HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте - https://bit.ly/3p8S5FU

⚡️Каждую конференцию мы печатаем красочную брошюру, чтобы вам было проще ориентироваться на площадке, в расписании и на выставке. Еще мы публикуем в ней список членов Программного комитета, которые непосредственно собирали эту программу для вас. 

А еще мы задаем вопрос в ПК и печатаем их ответы в брошюре. Так вот! А на какой вопрос вам было бы интересно услышать ответ ПК? Совет начинающему/текущему/опытному разработчику? Хобби? Мнение о влиянии цвета кнопки на прибыльность компании? 

Напишите, что вам было бы интересно узнать! Самый частый вопрос зададим комитету и опубликуем в брошюре.

✅ Задать вопрос здесь

▶️ Завершаем эту неделю свежей подборкой видеозаписей докладов: топ-5 докладов Saint HighLoad++ 2022. Посмотрите сами и поделитесь с коллегами 😉
⠀
1) Service Mesh на стероидах, часть 2: Zero Deployment Downtime в корпоративных приложениях. Алексей Ефимов (Netcracker) https://bit.ly/3LEHn1x
⠀
2) Эволюция распределенных атак в Интернете: 1994 — настоящее время. Георгий Тарасов (Qrator Labs) https://bit.ly/3pew88B
⠀
3) Под красным флагом: как инженер может понять, что в проекте происходит что-то не то. Даниил Подольский (Microavia) https://bit.ly/44zsVAi
⠀
4) Одна платформа, чтобы править всеми. Михаил Кабищев (Ozon) https://bit.ly/44Km3R5
⠀
5) Архитектура: история и будущее на примере ВКонтакте. Александр Тоболь (ВКонтакте) https://bit.ly/3npE0DG
⠀
Продуктивного просмотра и отличных выходных 🙌

🫥CБОЛ. Об архитектуре слоя хранения поговорим с Ильей Кайшаури
⠀
📋 https://bit.ly/3LAjKHe
⠀
Путь, пройденный командой развития Сбербанка Онлайн при построении надежной и отказоустойчивой архитектуры слоя хранения, является уникальным и опыт, полученный в процессе становления может стать подспорьем для развивающихся проектов, идущих прямиком в «клуб HL+». Доклад призван в доступной форме рассказать об архитектуре сервиса Сбербанк Онлайн в части хранения данных и поделиться планами по импортозамещению СУБД.
⠀
Поговорим вот о чем:
⠀
- СБОЛ это платформа для реализации продуктов экосистемы Сбера;
- Архитектура строится вокруг 2 клиентов: Клиент Сбера и команды развития бизнес-продукта;
- Данные СБОЛа делятся на 5 типов;
- End 2 End целостный клиентский блок - основа надежного и масштабируемого сервиса;
- Client Backup Layer, который развязал им руки;
- Микросервисная архитектура платформы помогает им мигрировать на PostgreSQL;
- Какие данные блока не прижились в Oracle и куда их отселяют. С какими проблемами столкнулись;
- СБОЛ 2025 Целевая картина хранения данных Сбербанк Онлайн.
⠀
📍Встречаемся: 26 и 27 июня, Санкт-Петербург, DESIGN DISTRICT DAA in SPB
⠀
✅ Узнать подробнее программу Saint HighLoad++ 2023 и купить билет можно на сайте - https://bit.ly/3LSdk7U

🗣YTsaurus SPYT: Алексей Шишкин расскажет, как помочь планировщику Apache Spark быть ещё эффективнее
⠀
📋 https://bit.ly/3paY1yh
⠀
При обработке больших данных с помощью Apache Spark наиболее трудозатратным этапом считается Shuffle stage, когда вся информация активно перемещается. А возникает он в вашем плане, как только вы задумываетесь о группировке или джойнах. Но всегда ли он необходим? Нет!
⠀
Дело в том, что зачастую Spark не знает, как эффективно использовать метаданные источника данных, поэтому строит универсальные способы исполнения. Из доклада Алексея узнаем, как они ускорили выполнение агрегаций и джойнов на отсортированных данных внутри YTsaurus. Для этого придется покопаться во внутренностях механизмов выполнения запросов, чтения данных и генерации планов исполнения.
⠀
🖐 Присоединяйтесь к нам 26 и 27 июня на Saint HighLoad++ 2023
⠀
✅Программа конференции и билеты на сайте - https://bit.ly/3ns96uh

✔️ С Артемом Бачевским обсудим GPT3+ модели в задачах кибербезопасности
⠀
📋 https://bit.ly/3nyfmkb
⠀
Художники, копирайтеры и журналисты уже на заводе. Пора ли безопасникам идти в магазин за робой?
В рамках доклада разберем, как уже используются GPT3+ модели ИБшниками, разработчиками и администраторами.
⠀
Кто нам ChatGPT? Друг, враг или так?
⠀
Ждем вас в Питере на Saint HighLoad++ 2023 🙌
⠀
✅ Забронируйте билет здесь: https://bit.ly/3nv58kx

⏺Многие знакомы с тем, как работать с сервисами push-уведомлений от Google и Apple, но не все знают как эти сервисы устроены внутри. В особенности это касается статистики.
⠀
Руководитель нескольких команд разработки бэкенда в Почте Mail.ru Кирилл Алексеев покажет свой взгляд на архитектуру очень нагруженного сервиса и расскажет, почему push-уведомления других сервисов работают именно так.
⠀
В основном будет про архитектуру сервиса, который позволяет отправлять пуш-уведомления на мобильные устройства с минимальной задержкой, подобно Google Firebase.
⠀
А ещё о том, как удалось сделать сервис горизонтально масштабируемым на базе Redis Cluster и Scylla, устойчивым к DDoS через публичные API, и как можно держать в фоне открытый Web Socket на Android, пользуясь доступными возможностями ОС.

🔜 Читать статью: https://habr.com/ru/companies/oleg-bunin/articles/728516/

⚫️Тема доклада Ивана Полуянова: Ну зачем вы форкнули NGINX?!
⠀
📋 https://bit.ly/3MfvWyO
⠀
Иван расскажет, что они сделали за полгода c веб-сервером Angie, и спросит участников что нужно делать дальше. И также узнаем, что значит ^W в названии доклада :)
⠀
Встречаемся в Питере 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
➡️Перейдите на сайт, чтобы узнать программу конференции и купить билет: https://bit.ly/3LVJ22L

💻YTsaurus: опытом эксплуатации хранилища из 180К дисков поделится Павел Сушин
⠀
📋 https://bit.ly/44Xc3Un
⠀
YTsaurus - основная платформа Яндекса для хранения и обработки больших данных, ad hoc аналитики, построения ETL задач и регулярных batch процессов. Сегодня самый большой кластер YTsaurus содержит более 20К хостов различной конфигурации - от 4 до 24 дисков, суммарно более 180К дисков.
⠀
Павел расскажет, как они управляют таким количеством дисков с минимальными операционными издержками. Затронем:
⠀
- политики размещения блобов, для достижения отказоустойчивости и производительности записи;
- защитные механизмы, для ограничения фоновых процессов при восстановлении erasure-реплик;
- способы изоляции разных классов IO-нагрузки в одном кластере;
- инструменты автоматизации и примеры проблем, с которыми они сталкивались при их внедрении.
⠀
Присоединяйтесь к нам 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
➡️Программа конференции и билеты на сайте - https://bit.ly/3VUb5Ep

🖼 О применении изображений в рекомендательных системах расскажет в своем докладе Руслан Вергунов
⠀
📋 https://bit.ly/3Og2UAF
⠀
Зачастую пользователь принимает решение о клике, во многом основываясь на графической информации. Рассмотрим различные способы использования изображений в рекомендательных системах и узнаем про уменьшение нагрузки и влезание в память при исполнении данного подхода.
⠀
Руслан поделится с участниками кейсами, как им удалось улучшить свою систему на 20%!
⠀
Присоединяйтесь к нам 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
➡️Программа конференции и билеты на сайте - https://bit.ly/41ANgCW

⚫️Если вы сталкивались с трудностями в работе с автотестовой системой, вам будет интересно узнать, как с ними справляются в других компаниях.
⠀
QA automation engineer в Garage Eight Константин Лыщенко расскажет, как они улучшали свою автотестовую систему. Как дорабатывали pipeline с прогоном тестов. Как делали отчёты в Slack удобнее и внедряли автоматизированный сбор метрик с использованием Grafana и MySQL.
⠀
Улучшения помогли сделать pipelin’ы с автотестами более быстрыми, а это полезный опыт, который можно использовать в своей системе.
⠀
✅ Читать статью: https://habr.com/ru/companies/oleg-bunin/articles/

➡️ Почему вам стоит писать backend на Elixir? Расскажет Роман Смирнов
⠀
📋 https://bit.ly/3M6VKf5
⠀
На данный момент существуют сотни языков программирования, которые можно использовать для разработки backend. Как выбрать язык, который даст наибольшее количество преимуществ, но не в ущерб результату?
⠀
Сравним 10 наиболее популярных языков программирования по ключевым критериям:
⠀
- кадровый вопрос;
- удобство разработки;
- выразительность языка;
- производительность.
⠀
Также обсудим, в чём уникальность Elixir: BEAM, OTP, модель акторов и то, как Elixir расширяет мышление в плане подходов к написанию кода. Посмотрим, какие компании уже применяют Elixir для разработки своих сервисов.
⠀
Встречаемся 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
✅ Подробнее о конференции на сайте - https://bit.ly/3pLdCoB

🟢Что делать, чтобы перестать быть девопс-эникейщиком, справиться с рутиной и снова наслаждаться работой? Вопрос на миллион!
⠀
Руководитель DevOps, QA и 140+ backend/fronted-разработчиков в Ситилинке Константин Осипов поможет ответить на него. Вы узнаете, как перестать быть эникейщиком и снова начать автоматизировать. Как отсутствие DevOps ускоряет Time to market. Как всего три DevOps справляются со 150+ разработчиками, 70+ Tarantool БД, 100+ микросервисов, и еще успевают готовить свой on-premises Kubernetes на сотнях серверов.
⠀
Разговор пойдет об интересном подходе к разработке в Ситилинке, который и позволяет справляться со всеми перечисленными проблемами.
⠀
📍Читать статью: https://habr.com/ru/companies/oleg-bunin/articles/728524/

❄️ Егор Гордовский расскажет доклад на тему: мы охлаждаем воздухом. Дата-центр Яндекса. Какой он?
⠀
📋 https://bit.ly/3BAAREu
⠀
Всё, что вы хотели узнать про дата-центр Яндекса, но боялись спросить.
⠀
Пора узнать, как Яндекс подходит к процессу проектирования, строительства и эксплуатации своих дата-центров.
⠀
Как собственные разработки Яндекса влияют на применение и повсеместное внедрение новых технологий в своих дата-центрах, и какую роль в этом играют серверы собственной разработки и производства.
⠀
Поговорим о том, как охлаждать серверы воздухом с улицы и не тратить при этом дополнительные деньги. А также узнаем, сколько человек нужно, чтобы обслуживать дата-центр, по мощности равный небольшому городу.
⠀
Присоединяйтесь к нам 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте - https://bit.ly/41KNbMM

⬇️О внедрении YDB CDC на примере Yandex Monitoring расскажет Егор Литвиненко
⠀
📋 https://bit.ly/3MC42gq
⠀
Yandex Monitoring используется всеми сервисами Яндекса внутри, а также доступен в Яндекс.Облако для внешних пользователей. Они обрабатывают 700 миллионов метрик на запись ежесекундно.
⠀
У каждого клиента есть конфигурация процесса загрузки метрик. Конфигурация — это Control-Plane-объекты, которые:
⠀
- хранятся как таблицы в базе данных;
- меняются на лету;
- связаны между собой.
⠀
Чем быстрее Monitoring получает обновления объектов, тем выше доступность для пользователей.
⠀
Для хранения они используют YDB — распределенную open-source-базу данных Яндекса.
⠀
Команды YDB и Yandex Monitoring проработали сценарий загрузки изменений с помощью YDB CDC. В результате получили архитектуру, в которой изменения объектов доставляются в тысячи компонентов менее чем за 800 миллисекунд.
⠀
Из доклада Егора узнаем:
⠀
- Сложности до перехода на Change Data Capture.
- Подходы к доставке изменений, их особенности.
- Чем YDB CDC отличается от других решений.
- Рекомендации, как правильно готовить YDB CDC, грабли и их решения.
- Какую модель данных выбрать, чтобы решить проблемы с конкурентными изменениями.
- Мониторинг и поддержка решения.
⠀
Встречаемся 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
➡️Чтобы узнать программу конференции и забронировать билет пройдите на сайт - https://bit.ly/3BEcgym

🫥Авито Автозагрузка: как качать миллионы фотографий в сутки, выдержать кратный рост и не умереть узнаем из доклада Евгения Толмачева
⠀
📋 https://bit.ly/3Wg0bch
⠀
Авито Автозагрузка — продукт, через который каждый час проходят десятки миллионов объявлений. За сутки мы скачиваем миллионы фотографий с хостингов самого разного качества и стабильности.
⠀
На таком объёме данных простая, на первый взгляд, задача «скачай фото по ссылке» обрастает большим количеством проблем:
⠀
- что делать с медленными и нестабильными хостами;
- как не устроить DDoS-атаку на сервера клиентов;
- как обеспечить высокую производительность системы и не вызывать негатив у пользователей.
⠀
Если прибавить сюда резкий кратный рост продукта, то мы получим интересную историю о том, как за год они выросли в 4 раза и полностью переосмыслили и переработали архитектуру своей “фотокачалки”. Вместе мы пройдем путь от решения “в лоб” до решения, сумевшего ответить на все эти (и не только) вопросы.
⠀
Ждем вас 26 и 27 июня в Питере на Saint HighLoad++ 2023 🙌
⠀
✅ Чтобы узнать программу конференции и забронировать билет пройдите на сайт - https://bit.ly/3MDZqqk

🗣Об эволюции репликации в Tarantool поговорим с Сергеем Петренко. Обсудим путь от master-replica к master-master и от асинхронной репликации к синхронной с выборами лидера
⠀
📋 https://bit.ly/43hUBsg
⠀
Tarantool прошёл большой путь в репликации. Начиналось всё с master-replica без поддержки транзакций, затем появилась поддержка master-master, потом и поддержка транзакций. Одновременно с этим появились нереплицируемые таблицы. Последним нововведением стала синхронная репликация и автоматические выборы лидера.
⠀
Все эти изменения они старались проводить эволюционно, минимально затрагивая протокол: например, мастер может реплицировать часть таблиц асинхронно, а часть – синхронно. И, если синхронная репликация не используется, Tarantool новой версии может быть и мастером, и репликой для Tarantool старой версии.
⠀
Сергей расскажет, что менялось в протоколе репликации на протяжении последних 10 лет, как они сохраняют совместимость и баланс между существующими режимами работы и появляющимися фичами и как работают над удобством эксплуатации кластера. Также поговорим об их дальнейших планах.
⠀
До встречи 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
✅ Ознакомьтесь с программой конференции и забронируйте билет на сайте - https://bit.ly/3odNAde

📝 Друзья, у нас готово расписание конференции Saint HighLoad++2023, которая пройдет 26 и 27 июня в Санкт-Петербурге
⠀
Проходите, изучайте и планируйте свое участие: https://bit.ly/42UVfvS
⠀
До встречи 🙌