🫥Авито Автозагрузка: как качать миллионы фотографий в сутки, выдержать кратный рост и не умереть узнаем из доклада Евгения Толмачева
⠀
📋 https://bit.ly/3Wg0bch
⠀
Авито Автозагрузка — продукт, через который каждый час проходят десятки миллионов объявлений. За сутки мы скачиваем миллионы фотографий с хостингов самого разного качества и стабильности.
⠀
На таком объёме данных простая, на первый взгляд, задача «скачай фото по ссылке» обрастает большим количеством проблем:
⠀
- что делать с медленными и нестабильными хостами;
- как не устроить DDoS-атаку на сервера клиентов;
- как обеспечить высокую производительность системы и не вызывать негатив у пользователей.
⠀
Если прибавить сюда резкий кратный рост продукта, то мы получим интересную историю о том, как за год они выросли в 4 раза и полностью переосмыслили и переработали архитектуру своей “фотокачалки”. Вместе мы пройдем путь от решения “в лоб” до решения, сумевшего ответить на все эти (и не только) вопросы.
⠀
Ждем вас 26 и 27 июня в Питере на Saint HighLoad++ 2023 🙌
⠀
✅ Чтобы узнать программу конференции и забронировать билет пройдите на сайт - https://bit.ly/3MDZqqk

🗣Об эволюции репликации в Tarantool поговорим с Сергеем Петренко. Обсудим путь от master-replica к master-master и от асинхронной репликации к синхронной с выборами лидера
⠀
📋 https://bit.ly/43hUBsg
⠀
Tarantool прошёл большой путь в репликации. Начиналось всё с master-replica без поддержки транзакций, затем появилась поддержка master-master, потом и поддержка транзакций. Одновременно с этим появились нереплицируемые таблицы. Последним нововведением стала синхронная репликация и автоматические выборы лидера.
⠀
Все эти изменения они старались проводить эволюционно, минимально затрагивая протокол: например, мастер может реплицировать часть таблиц асинхронно, а часть – синхронно. И, если синхронная репликация не используется, Tarantool новой версии может быть и мастером, и репликой для Tarantool старой версии.
⠀
Сергей расскажет, что менялось в протоколе репликации на протяжении последних 10 лет, как они сохраняют совместимость и баланс между существующими режимами работы и появляющимися фичами и как работают над удобством эксплуатации кластера. Также поговорим об их дальнейших планах.
⠀
До встречи 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
✅ Ознакомьтесь с программой конференции и забронируйте билет на сайте - https://bit.ly/3odNAde

📝 Друзья, у нас готово расписание конференции Saint HighLoad++2023, которая пройдет 26 и 27 июня в Санкт-Петербурге
⠀
Проходите, изучайте и планируйте свое участие: https://bit.ly/42UVfvS
⠀
До встречи 🙌

⚡️Успейте забронировать билет до повышения цены
⠀
С 1 июня цена билетов на Saint HighLoad++ 2023 вырастет. Забронируйте билет до 31 мая и у вас еще будет несколько дней на оплату.
⠀
Присоединяйтесь к нам, чтобы:
⠀
- освежить мысли и найти новые идеи после докладов и общения
- первыми поймать тренды и узнать изменения в индустрии
- увидеть, как делают IT-системы другие спецы
- значительно вырасти профессионально
- отлично провести время в крутой тусовке единомышленников
⠀
✅ Забронируйте билет здесь – https://bit.ly/3IxRjJz
⠀
Ждем вас на Saint HighLoad++ 2023 🙌

🔜 Legacy PHP-FPM в Kubernetes. Тернистый путь опсов обсудим с Игорем Титовым
⠀
📋 https://bit.ly/420Uj8a
⠀
Поговорим вот о чем:
⠀
- Перенос legacy PHP-FPM в Kubernetes.
- Горизонтальное масштабирование PHP-FPM.
- Деплой во время нагрузки.
⠀
Присоединяйтесь к нашей крутой тусовке разработчиков высоконагруженных систем 26 и 27 июня в Санкт-Петербурге 😎
⠀
✅ Ознакомьтесь с программой Saint HighLoad++ 2023 и забронируйте билет на сайте - https://bit.ly/3MwJF30

🗣Артем Ковардин в своем докладе расскажет про универсальные пуши для андроид. FCM, HMS и RuStore в одном месте
⠀
📋 https://bit.ly/3olBSxb
⠀
Когда был только Firebase, все было просто. Теперь тренды меняются, появился HMS, появляются региональные решения. Артем расскажет, как охватить большую аудиторию, используя не только Firebase.
⠀
Узнаем:
⠀
- Как добиться лучшей доставляемости уведомлений, используя сразу несколько транспортов для пуш-уведомлений.
- Дополнительные плюшки — уверенность, что пуш не доставлен, локализация уведомлений, периодические кампании рассылок.
- Что будет дальше, какие альтернативные решения появятся, и что можно уже тестировать. Есть ли будущее у unifiedpush.
⠀
Ждем вас 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
✅ Посмотреть программу конференции и забронируйть билет до повышения цены здесь - https://bit.ly/3WtmGKY

🏠 На воркшопе с Андреем Логиновым узнаем, как сделать свой умный дом на коленке
⠀
📋 https://bit.ly/3oyHnbN
⠀
Соберем в прямом эфире свой умный дом на четырех платформах.
⠀
Каждый умный дом будет прост, доступен, дешев. И он будет позволять реализовывать наши самые смелые идеи и пожелания.
⠀
Присоединяйтесь к нашей крутой тусовке разработчиков высоконагруженных систем 26 и 27 июня в Санкт-Петербурге 😎
⠀
➡️Пройдите на сайт, чтобы узнать подробнее о конференции и забронировать билет до скорого повышения цены - https://bit.ly/422JSRj

💠 Сегодня поговорим о том, как красиво и эффективно реализовать сложную предметную область средствами PHP.
⠀
Олег Мифле расскажет как работал в команде Customer Support. Одна из фишек проекта — приоритизация тикетов. Команде прилетают 100-200 задач в минуту: ученик пропустил урок или его нужно разбудить, опоздал учитель, возникла другая проблема. А дальше этот поток тасков нужно упорядочить по важности, пропустив горящие вперед.
⠀
О приоритизации со стороны разработки и бизнеса и дереве игры и пойдёт речь. Поговорим какие коэффициенты и подходы использовать для расчета веса и почему. О добавлении универсальных стратегий, ручных, автоматических и отложенных задачах. О том, как SLA влияет на вес задачи.
⠀
📍Читать статью: https://habr.com/ru/companies/oleg-bunin/articles/737218/

💡Как заставить Stable Diffusion генерировать не только аниме и котиков, но и вас? Узнаем из доклада Кирилла Семина
⠀
📋 https://bit.ly/43JtZAL
⠀
Мир генеративного искусства стремительно развивается, создание фантастических и при этом реалистичных изображений уже не кажется магией. Но и возможности методов генерации неуклонно растут. 2022-й год завершился бумом в персонализации text-to-image-моделей — в академической среде выходили статьи с различными подходами, а в продовой — конкретные решения, на них основанные.
⠀
Поговорим о диффузионных генеративных моделях и методах персонализации, а также о том, как их использовать в реальном продакшне:
⠀
- Сначала немного погрузимся в прекрасный мир теории и поймем две основные вещи: как работают диффузионные генеративные модели на примере Stable Diffusion; и как заставить их генерировать неизвестные для них объекты, например, вас или вашу любимую собаку, с помощью DreamBooth и его модификаций.
⠀
- Затем спустимся на землю, чтобы столкнуться с суровой реальностью. Однако справимся со всеми (почти) проблемами: будем кэшировать вычисления модели, считать attention эффективно, и научимся дообучать большие модели, не имея больших ресурсов.
⠀
Присоединяйтесь к нам 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты здесь - https://bit.ly/45yIyJ5

⚡️Повышение цены на Saint HighLoad++ 2023
⠀
Друзья, чем ближе конференция, тем дороже билеты. С 1 июня цена вырастет и станет максимальной. Забронируйте билет до 31 мая и у вас будет несколько дней для оплаты.
⠀
В программе Saint HighLoad++ 2023 вас ждут 70+ докладов, которые охватят такие аспекты веб-разработок: архитектуры крупных проектов, базы данных и системы хранения, devops и системное администрирование, нагрузочное тестирование, эксплуатация крупных проектов. И другие направления, связанные с большими и высоконагруженными IT-системами.
⠀
Форматы конференции и доступные опции:
⠀
▪️Офлайн: общение со спикерами, глубокая проработка тем на митапах, доступ к выставочной зоне, все презентации спикеров, видеозаписи всех докладов, сытные кофебрейки и обеды, подарки от партнёров и организаторов, вопросы спикерам в telegram-чате
⠀
▫️Онлайн: все презентации спикеров, видеозаписи всех докладов, трансляция всех докладов (кроме митапов и воркшопов), вопросы спикерам в telegram-чате, доступ к трансляции для одного пользователя
⠀
Ждем вас 26 и 27 июня в Питере или онлайн по всему миру 🙌
⠀
➡️Пройдите на сайт, чтобы ознакомиться с программой конференции и забронировать билет - https://bit.ly/3MCTlcB

🔥На Saint HighLoad++ 2023 пройдет трек Архитектура. HighLoad & VK
⠀
Вас ждет:
⠀
▪️14 разносторонних докладов об архитектуре высоконагруженных проектов помогут посмотреть на свои задачи под новым углом и найти качественно новые решения.
⠀
▪️За два дня на опыте больших и известных компаний мы исследуем архитектуру со всех ракурсов: от слоя хранения до верификации, от CDN до телекома, от legacy начала века до микросервисов.
⠀
▪️В рамках трека пройдет «Прожарка кейсов»! Вы сможете приземлить советы спикеров на собственные проекты. Топовые профессионалы IT-отрасли разберут архитектурные решения участников по косточкам, укажут на слабые места и зададут направление для роста.
⠀
➡️ Ознакомьтесь с программой трека здесь - https://bit.ly/3WyWVZA
⠀
До встречи 26 и 27 июня на Saint HighLoad++ 2023 🙌

🔜 Алексей Морозов расскажет доклад на тему: SAST'оумие и отвага

📋 https://bit.ly/439WNlV

Поговорим о том, какие бывают статические анализаторы, их отличия и сравнение между собой.

Алексей расскажет, как сделать этот инструмент эффективным оружием по поиску уязвимостей, и покажет, какие уязвимости можно найти с помощью SAST.

Присоединяйтесь к нам на Saint HighLoad++ 2023

➡️ Посмотрите программу конференции и забронируйте билет до повышения цены здесь - https://bit.ly/45BZyxP

🔥Друзья, всем привет!

Врываемся в лето жаркой новостью!

У нас полным ходом идет подготовка и прием докладов к HighLoad++ 2023, Москва, Сколково, 27-28 ноября.

🖐️ И, не изменяя традиции, мы собираемся на офлайн-встречу активистов, потенциальных докладчиков и участников ПК. На этот раз идем в гости к Яндексу на Дачу

Вечер обещает быть насыщенным: обсудим с вами новости и планы, поговорим о том, что болит и волнует, обменяемся идеями, чтобы следующий HighLoad стал еще мощнее!

Когда: 8 июня (четверг)
Сбор участников с 19:00, официальная часть с 19:30
Где: Москва, культурный центр "Плюс Дача", в самом центре Парка Горького.

➡️➡️Количество мест ограничено. Участие свободное, регистрация здесь

Ждем вас 🙌

🫥 За последние годы машинное обучение сильно изменилось. Появилась Fundation model, которая умеет почти всё делать одинаково. Вот только для такой большой общей модели требуются огромные мощности. Поэтому в 2021 году Яндекс запустил три HPC/GPU-кластера для машинного обучения, которые стали самыми мощными суперкомпьютерами в России.
⠀
Давайте посмотрим как у них это получилось и с какими проблемами они столкнулись во время перехода на Machine Learning-кластера.
⠀
Разговор пойдёт о революции трансформеров, современных HPC/GPU-кластерах, на каком стеке технологий их строят и почему перестают работать традиционные подходы. В общем все про ускорение машинного обучения и оптимизацию производительности.

➡️Читать статью: https://habr.com/ru/companies/oleg-bunin/articles/736948/

🔺 Из доклада Максима Павлова узнаем, как совместить потоковые и пакетные процессы в Camunda BPM

📋 https://bit.ly/3owxlrQ

Максим расскажет практические примеры построения схем процессов, техники и приемы. Узнаем эволюцию BPM-схем процессов в проде за 3 года, изменение подходов, работу над ошибками.

🖐️ Встречаемся 26 и 27 июня на Saint HighLoad++ 2023

✅ Программа конференции, расписание и билеты на сайте - https://bit.ly/3N05Yjd

🗣С Андреем Жуковым поговорим про темных богов корпоративной архитектуры. До варпа и обратно

📋 https://bit.ly/42l15W9

Как так оказывается, что совершенно разные подходы к организации корпоративной архитектуры порождают одинаково отвратительных демонов реализации. Почему рожденные в идеальном порядке или искренней любви дизайн-документы все равно приводят нас в пучины отчаяния. Как приключение на один спринт обращается в падение в черную дыру техдолга.

Андрей расскажет о четырех непохожих, но все равно опасных пути построения корпоративной архитектуры. Каждый из темных богов покажет свои привлекательные и отвратительные стороны: Безопасник, Системный Архитектор, Милорд-разработчик и Бизнес-заказчик.

А в конце посмотрим, чем опасен путь IТ-императора.

До встречи 26 и 27 июня на Saint HighLoad++ 2023 🖐️

➡️ Пройдите на сайт, чтобы посмотреть программу конференции и забронировать билет - https://bit.ly/3qhs33N

🔥 Проверь свою архитектуру на прочность

Друзья, на Saint HighLoad++ 2023 в рамках трека «Архитектура. HighLoad & VK» пройдет «Прожарка архитектурных кейсов»

Топовые эксперты прямо во время конференции разберут архитектурные решения участников и найдут все изъяны. Но не волнуйтесь — никто не уйдёт без идеи, как исправить ситуацию.

Как подать свой кейс на разбор:

Пришлите краткое описание с требованиями и структурой решения через эту форму

Идеальным вариантом будет схема в Miro, как в этом примере

Как будет проходить «Прожарка»:

• Заранее собираем кейсы. Если вы достаточно отважны и готовы к публичному обсуждению своих задач, хотите получить фидбэк (и билет на Saint HighLoad++ 🙂) и узнать мнение опытных коллег, присылайте свой кейс — на уровне структуры, без чувствительной информации и деталей под NDA.

• Программный комитет и эксперты выберут самые интересные — актуальные, неоднозначные, сложные кейсы. Изучат заявки и подготовят дополнительные вопросы.

• Во время конференции в конце первого дня автор кейса за 5–10 минут знакомит присутствующих с проблемой.

• А дальше эксперты и аудитория челленджат решение! Вы узнаёте о возможных слабых местах, ограничениях подходов и нюансах применения известных технологий.

• PROFIT! И всё это в формате живого ток-шоу с известными CTO и опытными специалистами из highload-индустрии.

✅ Подробнее о «Прожарке» здесь: https://bit.ly/3N5mf6A

🎟 Купить билет на Saint HighLoad++ 2023 здесь: https://bit.ly/42fpdtt

Ждем вас 26 и 27 июня в Санкт-Петербурге 🙌