Александр Капитанов и Александр Нагаев расскажут о переводчике с языка, на котором нельзя говорить и писать.
⠀
Представьте себе мир, где слова не используются для общения! Этот доклад раскрывает секреты создания переводчика для языка, которым нельзя говорить и писать. Узнаем, почему русский жестовый язык (РЖЯ) – не просто жесты, а мощный инструмент передачи абстрактных понятий. Какие трудности возникают при переводе РЖЯ и как их преодолеть?
⠀
Будьте первыми, кто узнает о новых данных и инновационных подходах, основанных на нейросетях! Не упустите шанс овладеть новым языком – языком жестов! Готовы ли вы открыть дверь в мир без слов и звука?
⠀
Два Александра расскажут о проблемах и особенностях русского жестового языка, и как они решают эту задачу в своей команде. В качестве бонуса выкладывают большой датасет в открытый доступ, что поможет ускорить реализацию AI-сервисов распознавания и генерации РЖЯ!
⠀
Встречаемся 27 и 28 ноября на HighLoad++ 2023 в Москве 🙌
⠀
✅ Ознакомиться подробно с программой конференции и купить билет можно на сайте в описании канала @HighLoadChannel

Сам себе вендор. С Александром Поповым поговорим о внедрении EVPN в VK Cloud.
⠀
Облака — это не только независимая инфраструктура где-то в интернете. Это еще и непосредственные физические сетевые стыки с крупными клиентами прямо в их ЦОДах. Чаще всего сети — это ответственность сетевых инженеров. А у них обычно все построено на вендорном железе. Но что делать в том случае, если привычных всем вендоров больше нет?
⠀
Поговорим о проблемах вендорных решений, использовании их на примере такой задачки, как организация внешних стыков облака. Александр расскажет, как сделать то, что предоставляют вендоры из подручных материалов. Представит свою реализацию EVPN VTEP из стандартных Open Source-инструментов — OpenVSwitch, gobgp, Python.
⠀
Встречаемся на HighLoad++ 2023 в Москве 🖐
⠀
✅ Ознакомиться подробно с программой конференции и купить билет можно на сайте в описании канала @HighLoadChannel

Владимир Озеров расскажет, как реализованы различные оптимизации SQL-движков для эффективной работы с data lake.
⠀
Популярные распределенные SQL-движки, такие как Trino, Presto и Dremio, умеют выполнять SQL-запросы непосредственно к файлам в озере данных, что позволяет компаниям более гибко и эффективно анализировать свои данные за счет уменьшения потребности в ETL и снижения нагрузки на корпоративное хранилище.
⠀
Подобные продукты используют принцип разделения compute и storage, при котором обработка и хранение данных происходит на разных серверах. Несмотря на многочисленные преимущества, разделение compute и storage приводит к серьезному вызову: как обеспечить высокую производительность обработки информации, хранящейся на удаленных серверах? Конкурентоспособен ли такой подход по сравнению с классическими хранилищами данных?
⠀
В докладе мы рассмотрим реализацию ключевых оптимизаций, которые позволяют Trino, Presto и Dremio быстро «перемалывать» данные из вашего озера: использование метаданных Parquet и ORC для уменьшения количества зачитываемых данных (partition pruning, project/filter/aggregate pushdown), динамическая фильтрация (runtime filtering), материализованные представления (materialized views), а также многочисленные кэши: кэш метаданных, кэш данных и кэш промежуточных результатов запросов.
⠀
🖐 Ждем вас на HighLoad++ 2023 в Москве.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Филипп Бочаров в своем докладе расскажет о распределенной трассировке с Jaeger и Clickhouse.
⠀
МТС — это огромная экосистема продуктов, в которой каждую секунду происходят тысячи взаимодействий между компонентами. В 2019 году они запустили внутренний сервис распределенной трассировки, чтобы помочь командам отслеживать ошибки в работе экосистемы. За это время они прошли длинный путь, подключив 1000+ сервисов, научившись обрабатывать 150 тысяч спанов в секунду и несколько раз поменяв архитектуру решения.
⠀
В докладе Филипп расскажет, как они мигрировали с Elasticsearch на Clickhouse для хранения распределенной трассировки. Как на собственных ошибках нарабатывали экспертизу по Clickhouse и дорабатывали Open Source-решения под свои нагрузки. Как дали возможность выполнять аналитические запросы к Clickhouse и строить дашборды по данным трассировки.
⠀
Встречаемся на HighLoad++ 2023 в Москве 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

С++ и безопасность: можно ли сделать лучше? Узнаем из доклада Сергея Талантова.
⠀
По следам гайда от Агентства национальной безопасности (NSA), в котором языки С/C+ признаются «опасными» и требующими перехода на «безопасные» C#, Go, Java, Ruby и Swift. Поймем, так ли плохо обстоят дела с безопасностью в С++ на самом деле, и что современная индустрия предлагает для решения данного вопроса.
⠀
Собираемся 27 и 28 ноября на HighLoad++ 2023 в Москве 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Темные боги корпоративной архитектуры. Истории из недр варпа расскажет в своем докладе Андрей Жуков.
⠀
Как так оказывается, что совершенно разные подходы к организации корпоративной архитектуры порождают одинаково отвратительных демонов реализации? Почему рожденные в идеальном порядке или искренней любви дизайн-документы все равно приводят нас в пучины отчаяния? Как приключение на один спринт обращается в падение в черную дыру техдолга?
⠀
Андрей расскажет разные истории о впадении разработки в ересь в разных обстоятельствах, иногда даже идеальных.
⠀
🖐 Встречаемся на HighLoad++ 2023.
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

🔥 6 дней до повышения цены билетов на HighLoad++ 2023.
⠀
Друзья, 27 и 28 ноября мы встречаемся на особенной HighLoad++ 2023. Это будет больше, чем конференция.
⠀
Чем же HighLoad++ этого года отличается от всех предыдущих и почему ее нельзя пропустить разработчику высоконагруженных систем? Рассказываем:
⠀
1. Самое главное отличие в том, что это наша юбилейная, 20-я конференция HighLoad++. Она будет самой масштабной, самой большой и по участникам, и по программе (150+ докладов, 5+ мастер-классов, 11 треков)
⠀
2. У нас будет более 50 партнеров - все компании, которые как-то представлены в российском интернете. И вы с ними сможете познакомиться и пообщаться. Это будет самый простой способ за 2 дня понять весь рынок, все, что на нем происходит к 2023 году.
⠀
3. Мы возрождаем премию HighLoad++. 27 ноября пройдет церемония награждения лидеров IT за вклад в развитие экосистемы интернет–разработки в России.
⠀
4. Мы впервые глубоко копнем в опенсорс. Мы будем говорить про то, как создавать опенсорс, как его раскручивать, как опенсорс работает, как сделать опенсорс-проект. С этой точки зрения опенсорс не рассматривался еще никогда и нигде. Если вы как разработчик хотите сделать опенсорс-проект, то вам просто необходимо быть на этой конференции.
⠀
5. Две конференции на одной площадке. В рамках HighLoad++ 2023 пройдет Golang Conf 2023. Это один из самых модных современных языков, на котором очень часто строятся высоконагруженные системы. Мы будем говорить и о производительности Golang, и про применение его в высоконагруженных системах, и про то, как строить сложные системы, сложную бизнес-логику на Golang.
⠀
И, конечно, особенной будет и программа докладов.
⠀
Если вы планировали, раздумывали присоединиться к нам, но еще не купили билет, то сейчас самое время это сделать, чтобы успеть до повышения цены. С 1 ноября стоимость билетов станет максимальной.
⠀
✅ Ознакомиться подробнее с программой и купить билет можно на сайте
⠀
До встречи на юбилейной HighLoad++ 2023 🙌

Карина Кванчиани и Александр Капитанов поделятся рецептом идеальной разметки в Computer Vision.
⠀
За последний год они собрали, разметили и выложили в открытый доступ 3 больших датасета для различных задач компьютерного зрения (Computer Vision, CV): HaGRID, EasyPortrait и Slovo. Использование краудсорсинга платформ для разметки этих данных подвигло их создать методы агрегации разметки, которые позволили добиться максимальной точности.
⠀
Решение обобщить эти методы на другие CV-задачи привело их к созданию фреймворка агрегации, о котором и пойдет речь в докладе. Карина с Александром расскажут:
⠀
- самые популярные способы разметки больших данных в CV: о краудсорсинге и нейронных сетях;
- о необходимости агрегировать разметку на примере HaGRID, EasyPortrait и Slovo;
- о мотивации создания фреймворка агрегации и о его реализации.
⠀
В конце доклада увидим работу фреймворка для различных типов CV-разметки. Фреймворк доступен в Open Source, и они планируют его поддерживать и обновлять, в том числе ориентируясь на пожелания комьюнити!
⠀
Ждем вас на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Об актуальных угрозах безопасности в Large Language Model Applications поговорим с Артемом Бачевским.
⠀
LLM превращается из игрушки в полноценный рабочий инструмент, а значит настало время погрузиться во все аспекты безопасности моделей и приложений их использующих.
⠀
В рамках доклада рассмотрим топ-10 угроз для LLMA, кейсы атак и способы предотвращения угроз. Проведем приоритизацию, соотнесем со знакомыми примерами и в кулуарах поделимся своими находками и «случаями на производстве».
⠀
Ждем вас на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Как протестировать код на Go с базой данных? Узнаем из доклада Василия Василюка.
⠀
Когда кодовая база меняется с большим трудом, а моки в тестах требуют изменений на каждое изменение кода, развитие проекта сильно осложняется и для возвращения гибкости изменений и улучшения гарантий, предоставляемых тестами, можно применить интеграционное тестирование.
⠀
Василий расскажет об опыте запуска интеграционных тестов на Go с базой данных на примере PostgreSQL, как ускорить тесты в два раза и не думать над тем, «как удалить мусор из базы данных», а удалить её со всем мусором. Какие инструменты хороши для запуска и подключения к базе данных при работе в команде.
⠀
Встречаемся на HighLoad++ 2023, в рамках которой пройдет Golang Conf 2023 🖐
⠀
✅ Ознакомиться подробно с программой конференции и забронировать билет можно на сайте в описании канала @HighLoadChannel

Виктор Васильев и Виль Магсумов расскажут, как они сэкономили бюджет на облачные ресурсы, используя масштабирование и самописный плагин для разворачивания стендов.
⠀
Разработка рекомендательной платформы с использованием ML SOTA-алгоритмов требует больших CPU/RAM-вычислительных ресурсов. К примеру, на одном из экземпляров их рекомендательной платформы до оптимизации использовалось ~ 930 CPU/4,7 Tb RAM только на ML.
⠀
Виль с Виктором расскажут, как при помощи динамического выделения стендов/ресурсов на базе технологий Node Autoscaler, HPA, самописного плагина для автоматического развертывания стендов можно повысить эффективность разработки, сэкономив до 30% стоимости. При этом сохранить темпы роста количества разрабатываемых фич и количества партнёров и сделать так, чтобы разработчики, в том числе и DS, могли проводить свои эксперименты, не мешая друг другу в облаке Cloud.ru.
⠀
О чем пойдёт речь:
⠀
1. Об их рекомендательной системе и основном техническом стеке.
2. Как они сделали feature-окружения для разработки моделей.
3. Как они настроили масштабируемую систему в облаке для сокращения стоимости и в результате получили до 30% суммарной экономии на всех стендах.
⠀
Ждем вас 27 и 28 ноября в Москве на HighLoad++ 2023 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Про тернистый путь инструмента цифрового проектирования узнаем из доклада Виктора Выскребенцева.
⠀
Почему C4-модели мало и сколько слоёв архитектуры нужно большой организации.
⠀
Они начали с попытки описания API и контрактов, поняли, что не хватает описания взаимодействий между системами, перешли к автоматизации стандартов и описанию детальной архитектуры своих АС и, наконец-то, добрались до открытия доступа по описанной архитектуре.
⠀
В дальнейших планах — связать все слои архитектуры в прозрачную модель на любом уровне.
⠀
Виктор расскажет о тяжёлом пути развития инструментов архитектурного проектирования в Банке.
⠀
Встречаемся 27 и 28 ноября в Москве на HighLoad++ 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Степан Полохин расскажет про Arc — внутренней VCS для монорепозитория Яндекса.
⠀
Репозиторий Яндекса просто громадный и для того, чтобы с ним вообще можно было работать, приходится прибегать к куче хитростей.
⠀
В докладе Степан расскажет:
⠀
- Какие системы контроля они перепробовали, прежде чем прийти к своей собственной.
- Что такое виртуализация файловой системы, как она помогает в борьбе с большим количеством файлов и какие у нее есть подводные камни.
- Как они вычисляют лог файла на графе из десятков миллионов коммитов за пару секунд, и почему так не может git.
- Что делать, если поверх вашей VCS не работает rsync и XCode.
- Как свести интерфейс к трем командам и перестать думать о ветках и коммитах.
⠀
До встречи на HighLoad++ 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

⚡️2 дня до повышения цены.
⠀
Друзья, 1 ноября стоимость билетов на HighLoad++ 2023 вырастет и станет максимальной. Но вы можете зафиксировать текущую стоимость, если забронируете билет до 31 октября. После брони у вас будет несколько дней для оплаты.
⠀
Актуальные цены сейчас:
⠀
Офлайн-участие = 60 000 руб., с 1 ноября = 64 000 руб.

Онлайн-участие = 30 000 руб., с 1 ноября = 32 000 руб.

Что вы получите на конференции:
⠀
- участие в самой масштабной за всю историю HighLoad++;
- участие сразу в двух конференциях на одной площадке. В рамках HighLoad++ 2023 пройдет Golang Conf 2023;
- освежите мысли, найдете новые идеи и решите собственные задачи после 150+ докладов и общения с коллегами;
- первыми поймаете тренды и узнаете изменения в индустрии;
- значительно вырастите профессионально;
- отлично проведете время в крупнейшей тусовке единомышленников.
⠀
Ждем вас 27 и 28 ноября в Москве на юбилейной, 20-ой конференции HighLoad++ 🙌
⠀
✅Забронировать билет можно на сайте в описании канала @HighLoadChannel

Что стоит за дженериками в Go? Расскажет в своем докладе Илья Горкун.
⠀
Дженерики, которые ранее были темой для холивара, плотно вошли в нашу жизнь, но вы когда-нибудь задумывались, что стоит за [T any]? Почему дженерики Go именно такие, и чем они отличаются от других языков? Какой магией они обладают, и что такое «gc shape»?
⠀
Встречаемся на HighLoad++ 2023, в рамках которой пройдет Golang Conf 2023 🖐
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Тотальный контроль за сотрудниками через Telegram обсудим со Станиславом Жуковским и Василием Шалимовым.
⠀
Крупная федеральная сеть салонов красоты. До 20 000 сотрудников, занятых в процессе украшения мира, но дисциплина прихрамывает. Задача: собирать фотоотчеты от каждого сотрудника и проверять их за 10 минут до утренней планерки в разных часовых поясах... или о том, как Telegram боты спасают топ-менеджеров в 2023 году.
⠀
Из доклада узнаем:
⠀
- Как не напугать сотрудников и подключить их к сервису слежки и контроля.
- Про кучу контента для SMM как приятном бонусе при реализации чат-бота.
- Какие есть реальные ограничения Telegram, и как этично их можно преодолеть. Реальные цифры требуемого железа под сервисы.
- О нейронках в проде, или как по фото определить соблюдение корп. стандартов.
- Про интеграцию YClients и особенностях работы API.
⠀
Встречаемся 27 и 28 ноября на HighLoad++ 2023 в Москве 🙌
⠀
✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel

Рекомендации медиаконтента ВКонтакте очень интересны как с инженерной стороны, так и со стороны ML: Степан Малькевич расскажет, как они строят персонализированную ленту «Для Вас».

Мы рассмотрим полный путь построения новой ленты рекомендаций ВКонтакте с фокусом на персонализированном медиаконтенте. Особое внимание уделим ML, аналитической и бэкендной части задачи.

Вместе узнаем, какие алгоритмы машинного обучения применимы в данной задаче, как с ними работать в рамках огромного массива данных (терабайтов). Как контролируемо ставить множество А/B-тестов и тестировать сразу много гипотез в каждый момент времени, чтобы как можно быстрее двигаться к нашей конечной цели — новой ленте.

А также выясним, как построить бэкенд-архитектуру вокруг такого высоконагруженного продукта, как лента рекомендаций ВКонтакте.

🙌 Встречаемся на крупнейшей профессиональной конференции для разработчиков высоконагруженных систем HighLoad++ 2023.

✅ Программа конференции и билеты на сайте в описании канала @HighLoadChannel