Запись доклада Павла Лакосникова «Ах, как хочется вернуться, ворваться в монолит!» с конференции Saint HighLoad++ 2023

Микросервисы — это все еще новый черный. Любой продукт станет лучше, если в нем есть блютус, блокчейн и микросервисы. Но как оно на самом деле? Ждет ли вас «град на холме»?

Павел рассказал о том, как Авито шло к микросервисам. Это таймлайн-история, где спикер показал разные этапы микросервисной архитектуры Авито. И на какие компромиссы шли в процессе. Что же в итоге получилось и почему старички все еще грустят по старому доброму монолиту.

▶️Смотреть здесь: https://www.youtube.com/watch?v=yLrSp174yc0&list=PLH-XmS0lSi_yGjK_r3rkV_x6z1DGjeAER&index=67

Всем привет! Сегодня знакомим вас с первыми спикерами секции «Нейронные сети, искусственный интеллект»
⠀
1) Андрей Кузнецов (AIRI) «Как научить фундаментальные модели читать, видеть, слышать и анализировать всё одновременно»
⠀
Моделью, которая умеет общаться текстом, сейчас уже никого не удивишь. Андрей расскажет, из чего собрать модель, которая в дополнение к этому умеет смотреть картинки и слушать речь. Очередной шаг на пути к General AI!
⠀
2) Алексей Воропаев (SberAutoTech) «Архитектура беспилотного транспорта нового поколения»
⠀
Доклад позволит узнать, как NeRF нейросети позволяют организовать End2End обучение и тестирование современного беспилотного транспорта.
⠀
3) Евгений Кокуйкин (Raft) «Новые атаки на LLM и методы защиты для прикладных приложений»
⠀
Чем больше LLM проникает в нашу жизнь, тем острее встают вопросы безопасности. Вариативность атак меняется не просто быстро, а очень быстро. Из доклада вы получите полное представление о текущем состоянии атак на LLM и научитесь идентифицировать потенциальные уязвимости в своих приложениях.
⠀
Присоединяйтесь к нам 24 и 25 июня на Saint HighLoad++ 2024 🙌
⠀
✅Ознакомиться со всеми принятыми докладами и купить билет можно на сайте

Встречайте первые доклады из секции «Архитектуры и масштабируемость»
⠀
1) Дмитрий Некрылов (Яндекс 360) «Чего не хватает обычному сервису, чтобы стать cloud-native»
⠀
Как встроить в платформу или облако сервис, который по дефолту для этого не был рассчитан? Дмитрий расскажет о том, как встраивали Jitsi в Яндекс 360, обеспечивали много девяток и отказоустойчивость под нагрузкой и встреченных подводных камнях на этом пути.
⠀
2) Евгений Пак (Ozon) «Стенд метрик: как построить архитектуру для расчета тысячи метрик и попасть в SLA»
⠀
Многие, даже крупные компании, срезают углы на расчёте метрик АБ-тестирования и упрощают расчёты, теряя в чувствительности. На опыте Ozon можно увидеть, что даже для сотен метрик в эксперименте можно проводить расчёты точно.
⠀
3) Дмитрий Кривопальцев (Яндекс 360) «Делаем бесконечную галерею в Яндекс.Диске: балуемся плюшками, кластеризацией и синхронизацией»
⠀
Показать все, что скрыто! Честный и откровенный рассказ о том, как устроен изнутри просмотр фотографий в Яндекс.Диске, какие нестандартные решения пришлось применить, чтобы можно было удобно смотреть фоточки на мобилке и в браузере.
⠀
🖐 Присоединяйтесь к нам 24 и 25 июня в Питере на профессиональной конференции разработчиков высоконагруженных систем Saint HighLoad++ 2024
⠀
✅ Посмотреть другие доклады, которые уже приняты в программу, и купить билет можно на сайте

Следующая секция в программе конференции — Базы данных и системы хранения, ловите первые доклады по этой тематике:
⠀
1) Денис Волков (Yandex Cloud) «Балансировка нагрузки шардированного PostgreSQL не своими руками»
⠀
Мы стараемся поддерживать Open Source, а в этом году SPQR (инструмент для шардирования PostgreSQL) научился менять количество шард на лету. Из доклада Дениса вы узнаете о существующих подходах к решардингу, а также о том, что у команды SPQR получилось в результате.
⠀
2) Александр Зевайкин (Yandex Infrastructure) «Гарантии доставки сообщений в YDB Topics»
⠀
Докладчик погрузит вас во внутреннее устройство брокеров сообщений. Вы узнаете, как правильно «готовить» exactly-one, и какие улучшения для этого типа доставки предлагает YDB Topics относительно Kafka.
⠀
3) Андрей Комягин (STM Labs) «Redis, такой простой и такой сложный!»
⠀
Redis уже давно не является чем-то новым. Каждый использует его немного по-своему и практически каждый думает, что это всё элементарно. Доклад Андрея покажет, что возможностей и нюансов очень много и даже если сейчас вам это не понадобится, когда-то пригодится точно.
⠀
Встречаемся 24 и 25 июня на Saint HighLoad++ 2024 🙌
⠀
✅ Купить билет можно на сайте

Осенью Яндекс запустил уже вторую версию собственной LLM — YandexGPT 2.

Петр Ермаков, ML-бренд-директор компании, рассказал о том, как появилось решение разрабатывать собственную языковую модель нового поколения, с какими вызовами столкнулась команда и какие задачи еще предстоит решить.

В этом небольшом техтолке мы подняли следующие темы:

- как обучают YandexGPT,
- как Яндексу удаётся продолжать улучшать модель и обгонять другие языковые модели,
- в каких продуктах вы уже можете видеть результат работы этой нейросети.

▶️Смотреть видео: https://www.youtube.com/watch?v=PctcqbSH_8I&list=PLH-XmS0lSi_wTsucmbk-mt034TbaVwHPJ&index=3

Как узнать, что вы в симуляции? Фанаты фильмов про «Матрицу» сразу вспомнят про феномен дежавю или сбой матрицы. А что происходит в настоящей симуляции? По каким законам работает она?
⠀
Александр Чистяков из команды беспилотных автомобилей Яндекса расскажет, как симуляция устроена изнутри. Про параллельные вселенные и эффект бабочки, про неожиданные парадоксы и проблемы, которые возникают перед теми, кто хочет управлять «матрицей». А также про необычные архитектурные решения для систем тестирования.
⠀
✅ Подробности в статье: https://habr.com/ru/companies/yandex/articles/808213/

Друзья, сегодня рассказываем про доклады, которые относятся к тегу HighLevel-программирование. В этот блок мы собрали доклады, которые, на наш взгляд, предназначены для разработчиков и тестировщиков очень высокого уровня.

1) Таксономия изоляции: как оградить себя от хакера. Антон Жаболенко и Алексей Федулаев (Wildberries)

Широкий обзор технологий изоляции кода. В докладе будут разобраны плюсы и минусы каждого подхода с точки зрения безопасности.

2) Байт-код — Это Просто! Как сделать Dependency Injection по настоящему быстрым. Григорий Юрков (Яндекс Маркет)

На примере своего DI фреймворка докладчик покажет, какую магию можно делать, манипулируя байт-кодом. И какую магию реализуют в других инструментах.

Встречаемся 24 и 25 июня в Питере на Saint HighLoad++ 2024, присоединяйтесь 🙌

✅ Больше принятых докладов можно посмотреть на сайте

⚡️Повышение цены с 1 мая
⠀
Друзья, чем ближе Saint HighLoad++ 2024, тем дороже билеты. Но у вас есть возможность зафиксировать текущую стоимость, для этого нужно забронировать билет до 30 апреля. После брони у вас будет ещё несколько дней для оплаты.
⠀
24 и 25 июня на одной площадке в Питере вновь соберутся сильнейшие разработчики highload-систем. Мы будем обсуждать самые актуальные темы индустрии, обмениваться знаниями о технологиях, позволяющих одновременно обслуживать многие тысячи и миллионы пользователей, разбирать реальные кейсы с решением конкретных задач. И, конечно, очень много общаться в своей тусовке и завязывать полезные знакомства.
⠀
Ждем вас 🙌
⠀
✅ Ознакомиться с программой конференции и забронировать билет можно на сайте

Запись доклада Александра Кирсанова «Всё, везде и сразу: трейсинг в условиях хайлоада и 10к бэкендов» с конференции Saint HighLoad++ 2023
⠀
В масштабе VK использовать стандартный open tracing практически невозможно. Александр рассказал, чем плох JSON в трейсинге, зачем нужен свой бинарный формат, как выделить важное на этапе сбора, где хранить то, что собрали, и как сделать трейсы человекочитаемыми, если твой проект действительно большой.
⠀
✅ Смотреть видео здесь: https://www.youtube.com/watch?v=es0QMN3_57s&list=PLH-XmS0lSi_yGjK_r3rkV_x6z1DGjeAER&index=3

Сегодня знакомим вас со следующими докладами секции «Архитектуры и масштабируемость». Это самая большая по количеству докладов секция в программе Saint HighLoad++ 2024.

1) Кластеризация с помощью etcd. Пётр Растегаев (AGIMA)
⠀
Etcd является популярным инструментом при реализации распределённых кластерных приложений и этот доклад поможет узнать, как правильно его использовать для подобных задач и чему стоит уделить особое внимание.
⠀
2) Быстрый поиск на Redisearch в ленте операций для миллионов пользователей. Илья Сиванев (Тинькофф)
⠀
Что приходит на ум первым, когда упоминают полнотекстовый поиск? ElasticSearch и Sphinx. Но как быть, когда они не могут решить ваших задач? Илья поделится опытом Тинькофф в использовании поиска на базе Redis.
⠀
3) Как научить почтовый сервер Exim под нагрузкой 1 000 000 писем/мин переживать отказ ЦОД без простоя с помощью FUSE и Tarantool, а также развернуть такую систему в K8s. Максим Уймин (VK, Mail.ru)
⠀
Мы в целом научились делать отказоустойчивые и распределенные системы. В любом типе систем есть свои особенности. В докладе вы заглянете под капот почтового сервера Exim и вместе с докладчиком пройдете путь создания отказоустойчивой распределенной системы, работающей под большой нагрузкой.
⠀
Присоединяйтесь к нам 24 и 25 июня в Санкт-Петербурге 🙌
⠀
✅ Посмотреть другие принятые доклады и купить билет можно на сайте

⚡Через 2 дня билеты на Saint HighLoad++ 2024 станут дороже
⠀
5 причин присоединиться к нам:
⠀
1) узнать, как делают highload-системы ваши коллеги и конкуренты. Как они думают и смотрят на highload-мир;

2) быть в тренде и двигаться дальше, не останавливаться и развиваться;

3) познакомиться с технологиями, о которых, возможно, вы ещё не знаете;

4) услышать сильные доклады с решением конкретных задач;

5) круто провести время в IT-тусовке.
⠀
Также напоминаем, что вы можете забронировать билет до 1 мая, чтобы сохранить за собой текущую стоимость, а оплатить в течение нескольких дней после брони.
⠀
Мы встречаемся 24 и 25 июня в Санкт-Петербурге, ждём вас 🙌
⠀
✅ Ознакомиться с программой конференции и забронировать билет можно на сайте

Конференция HighLoad++ о том, как устроены инструменты, которые мы используем ежедневно. Знание внутрянки инструментов позволяет использовать их с максимальной эффективностью. Ловите подборку докладов про внутрянку Баз Данных:

1) О распределённых транзакциях. Владимир Комаров (Сбербанк-Технологии)

Доклад от автора книги «Путеводитель по базам данных», человека, разбирающегося в предметной области максимально глубоко. На примере конкретных баз данных, рассмотрим паттерны распределенных транзакций. Квинтэссенция архитектурного опыта, максимально полезная информация за минимальное время.

2) Про UUID v7. Андрей Бородин (Yandex Cloud)

Андрей делает Яндекс.Облако, хорошо разбирается в базах и пишет код, чтобы они работали лучше. В своем докладе он расскажет о патче, который добавляет поддержку UUID в качестве primary key для PostgreSQL. И о том, почему так важно реализовать RFC 7 и 8, а не просто «как-то сгенерировать 16 байт».

3) Как научить MongoDB делать горячие физические бэкапы. Юрий Фролов (Yandex Cloud)

История о том, как Яндекс возвращал возможность физических бэкапов в MongoDB. Будет много подробностей про движок базы, про подход MongoDB к хранению данных и про то, как написать собственную логику бэкапа.

4) YTsaurus SPYT: внедряем Spark SQL в массы. Алексей Шишкин (Яндекс)

История от разработчиков YTsaurus о том, как сделать собственный клиент к Spark и на уровне сетевого протокола отправлять к нему запросы из удобного веб интерфейса.

Встречаемся на Saint HighLoad++ 2024 🙌

✅ Программа конференции и билеты на сайте