Компиляторы это неотъемлемая часть инфраструктуры для создания программного обеспечения, поэтому от их корректности зависит очень многое. Поэтому они тщательно тестируются при разработке.
⠀
Если вас интересует тестирование компиляторов, заходите посмотреть статью о фаззинге. Сергей Бронников, разработчик из Tarantool, расскажет об этой сложной теме простым языком и с примерами на Lua.
⠀
Будут затронуты проблемы генерирования случайных программ и выбора тестовых оракулов для определения правильного поведения компилятора. Поговорим о том, как эффективно выполнять тесты компилятора и эффективных методах тестирования компиляторов на LuaJIT.
⠀
📍Читать статью в нашем блоге на Habr: https://habr.com/ru/companies/oleg-bunin/articles/742122/

Про архитектуру ленты и рекомендаций ВКонтакте узнаем из доклада Андрея Якушева в рамках трека "Архитектура. HighLoad & VK"

⠀
Лента — первый экран и главная точка взаимодействия пользователя с контентом социальной сети. Она должна быстро отображать релевантный контент для всех 100 млн пользователей ВКонтакте, и желательно, независимо от устройств и качества сети.
⠀
В докладе рассмотрим архитектуру Ленты ВКонтакте и проследим путь пользователя по всем компонентам системы: от первого запроса к приложению, до лайка под постом. Андрей расскажет, как и что они шардируют, реплицируют, кешируют, параллелят. Затронет особенности ранжирования записей и устройство рекомендательной системы, которую они научились переиспользовать так, чтобы с нуля за пару недель запускать рекомендации в новой вертикали.
⠀
Доклад позволит составить представление о том, как внедрять и использовать машинное обучение в максимально высоконагруженных проектах.

⠀
Полная программа трека "Архитектура. HighLoad & VK" на сайте, ссылка здесь @HighLoadChannel

Конференции завалены историями успеха. Но путь к успеху всегда лежит через фейлы, о которых рассказывать не принято. Потому что стыдно и потому что дорого. Но только не на нашем fail-митапе!

⠀
В своих коротких, но зажигательных выступлениях спикеры поделятся настоящими историями фейлов. Без записи, без трансляции, без комплексов.
⠀
Модератор: Екатерина Фирсова.
А делиться ошибками будут Алексей Мерсон, Григорий Богданов и многие другие.

⠀
Полная программа Saint HighLoad++ 2023, расписание и билеты здесь @HighLoadChannel

Сергей Прийменко в своем докладе расскажет о продуктовой платформе исполнителей в Яндекс Go

⠀
Яндекс Pro — это суперапп для исполнителей, выполняющих заказы клиентов разных online-to-offline-сервисов Яндекса: Такси, Самокатов, Доставки, Еды, Лавки, Маркета. Но так было не всегда, раньше Яндекс Pro был только водительским приложением Такси. Сергей расскажет о том, какие архитектурные принципы позволили пройти этот путь, тем самым это поможет командам разработки множества бизнесов развивать общее высоконагруженное приложение, сохраняя и его стабильность и скорость разработки.
⠀
Мы обсудим технические проблемы, которые создаёт суперапп: общий домен отказа у разных бизнесов и протекание абстракций, как следствие — ухудшение отказоустойчивости, замедление разработки и усложнение поддержки приложения.
⠀
Эти проблемы им удалось решить, выделив продуктовую платформу — слой между инфраструктурой и продуктом, представляющий собой скелет приложения и набор готовых компонентов, из которых разные бизнесы могут собирать сценарии для своих профессий, не влияя при этом друг на друга. Узнаем, какие архитектурные принципы позволили построить такую продуктовую платформу, а также про паттерны распределённых систем, позволяющих эти принципы воплощать в жизнь.
⠀
Встречаемся уже через неделю в Питере на Saint HighLoad++ 2023 🙌

Генеративные диффузионные модели. Про разработку, обучение и релиз модели Kandinsky 2.1 в подробностях расскажет Андрей Кузнецов

⠀
В докладе сначала будет рассказано про диффузионный подход для задачи генерации изображений по тексту: что такое диффузионный процесс, какие бывают диффузии и как это всё связано с генерацией изображений.
⠀
После этого детально рассмотрим архитектуру модели Kandinsky 2.1, а также возможные режимы её использования: генерация, совмещение изображений, изменение изображений по тексту, генерация похожих на заданное изображений и inpainting/outpainting. Далее приводятся результаты сравнительных экспериментов с другими моделями как на примере самих генераций, так и на уровне метрики FID.
⠀
После этого Андрей расскажет про официальный запуск проекта, достигнутые показатели по уникальным пользователям и числу запросов, кратко опишет структуру бэкенда для такой нагрузки по инференсу модели и приведет статистические данные за первые недели запуска с точки зрения highload-нагрузки.
⠀
🖐 Ждем вас 26 и 27 июня на Saint HighLoad++ 2023
⠀
Программа конференции, расписание и билеты - @HighLoadChannel

Как профилировать, когда perf видит не всё? Об этом расскажет в своем докладе Максим Кокряшкин 🙌

⠀
✅ Программа, расписание и билеты на Saint HighLoad++ 2023 здесь

Современные базы данных. Как выбрать СУБД в 2023? Узнаем из доклада Олега Бондаря

⠀
Олег расскажет про актуальный сложившийся ландшафт на рынке СУБД, постарается дать объективный взгляд на ряд известных решений. Также расскажет про продукты Яндекса с открытым кодом в области БД, в том числе на совсем свежие продукты, которые станут актуальны на момент проведения конференции. Основной акцент будет на решениях с открытым исходным кодом, то есть на СУБД, которые каждый может использовать у себя.
⠀
На фоне роста данных за последние пару десятилетий на рынке сложилась интересная картина. С одной стороны, появляется множество решений поверх традиционных СУБД, и сами производители этих СУБД не стоят на месте, с другой стороны, появляются совершенно новые продукты.
⠀
В докладе Олег хочет рассмотреть разность и общность подходов производителей СУБД к решению таких проблем, как достижение отказоустойчивости и масштабируемости, предоставление гарантий консистентности. Возможности и компромиссы, которые встречаются в различных решениях.
⠀
В завершение доклада подискутируем на тему того, куда все идет:
⠀
- стирается грань между OLTP и OLAP;
- хочется скорей просто взять базу, нагрузить операционной нагрузкой и одновременно с этим сделать аналитический (произвольный) запрос, который ее не сложит;
- данных все больше, нужно удешевлять хранение — даже в операционных базах все идет к тому, что нужен автоматический тиринг данных и хранение холодных данных в S3-подобных хранилищах (уже есть у многих облачных аналитических решений).
⠀
До скорой встречи на Saint HighLoad++ 2023 🙌
⠀
Программа конференции, расписание и билеты здесь @HighLoadChannel

Как при помощи бумаги, карандаша и алгоритма Raft достичь консенсуса? Узнаем на воркшопе в необычном формате от Ярослава Дынникова 🙌

⠀
Программа, расписание и билеты на Saint HighLoad++ 2023 на сайте в описании канала @HighLoadChannel

О поставке данных телеметрии складского робота, и что с этими данными можно сделать расскажет в своем докладе Николай Долганов

⠀
Для автоматизации складов и других офлайн-объектов Маркета в Яндексе разрабатывают роботов. Каждый робот — сложная система с большим количеством вычислителей, сенсоров и исполнительных устройств, которую невозможно подключить шнурком к ДЦ.
⠀
На докладе Николая рассмотрим, как на существующих инструментах в очень сжатые сроки была построена совершенно новая технология телеметрии мобильных роботов, которая помогает им разрабатывать и поддерживать их.
⠀
Обсудим:
⠀
- с какими проблемами сталкиваются разработчики устройств, удаленных от инфраструктуры ДЦ;
- как быть с большими объемами данных для обучения и отладки;
- какие хранилища Яндекса пригодятся для решения подобных задач (на примере хранилищ Яндекса, ныне доступных не только внутри него);
- чем могут быть полезны данные с роботов: обслуживание инцидентов, обнаружение аномалий, предсказание отказов.
⠀
Также доклад будет полезен тем, кто еще только определяется с технологиями и хранилищами для собственных проектов телеметрии (необязательно мобильных) устройств.
⠀
Встречаемся 26 и 27 июня на Saint HighLoad++ 2023 🙌
⠀
Ознакомиться с программой конференции и купить билет можно на сайте в описании канала @HighLoadChannel

Сегодня поговорим о практиках оптимизации производительности запросов в ClickHouse.
⠀
Разработчик ClickHouse Максим Кита раскроет ниндзя-техники, которые ускорят ваши системы.., но начнем по порядку.
⠀
Детально рассмотрим CI/CD-инфраструктуру ClickHouse, как с ее помощью тестируют на регрессии, находят медленные запросы и места, которые надо оптимизировать. Какие компиляторы и версии библиотек применяют для тестирования в самом ClickHouse. Поговорим о дизайне высокопроизводительных систем, выборе библиотек и различных трюках для ускорения производительности. Будет много примеров!
⠀
📍Читать статью в нашем блоге на Habr: https://habr.com/ru/companies/oleg-bunin/articles/726570/