Сегодня рассказываем про шесть докладов, которые будут особенно интересны и полезны:

🟣специалистам, которые занимаются интеграцией высоконагруженных систем;
🟣всем, кому любопытно узнать, как серверы пытаются вас идентифицировать, когда вы хотите сохранить приватность;
🟣разработчикам на С/С++, пользователям GDB, разработчикам асинхронных движков;
🟣разработчикам облаков;
🟣ML-разработчикам и техлидерам проектов;
🟣системным и сетевым администраторам, которые хотят лучше разобраться в сетевой подсистеме и с тем, как работает eBPF. А также разработчикам и руководителям команд разработки, которые планируют начать использовать eBPF.


1) Интеграционная эволюция с помощью PaaS-платформы. Александр Князев (РСХБ.цифра)

Докладчик расскажет, как РСХБ в рамках экстренного импортозамещения удалось построить платформу для развертывания приложений на базе Open Souce, которая учитывает высокие требования к информационной безопасности банка и при этом удобна для разработчиков.

2) Инкогнито не поможет: разбираемся в fingerprint-идентификации. Александр Бобряков (МТС Диджитал)

Александр подробно разберёт, в каком состоянии сегодня находится тема цифрового отпечатка (fingerprint) в задачах разработки и практического использования. Рекомендуем доклад всем, кто интересуется жизненным циклом идентификации в больших системах.

3) Как отлаживать асинхронный Odyssey, не привлекая внимания санитаров. Роман Хапов (Yandex Cloud)

Глубоко технический доклад о том, как GDB расширяли для отладки Odyssey: асинхронного connection pool для PostgreSQL. Движок написан на C в асинхронной парадигме на корутинах, и в докладе спикер расскажет, как подобную задачу пытались решить в Go, но на самом деле не решили. А они — решили.

4) Особенности современной аппаратуры: как на x86-64 изолированные ВМ могут чувствовать друг друга. Максим Давыдов (Yandex Cloud)

Захватывающая история расследования проблемы с производительностью ВМ, вызванной конкуренцией за кэш L3 и шину к RAM. Будет показано, как инженеры Yandex Cloud смогли найти взаимное влияние ВМ и оптимизировать их работу.

5) Методология внедрения ML на примере оценки времени маршрута Яндекс Доставки. Дмитрий Клебанов (Яндекс Доставка)

Есть смысл или нет смысла внедрять искусственный интеллект — вот в чем вопрос. Когда система большая, рисков становится много, как и возможностей. Доклад однозначно рекомендуется всем, кому нужно на этот вопрос ответить, и тем, кому просто интересно, как это работает.

6) Покоряем сетевой стек Linux: декапсулируем пакеты с помощью eBPF на скорости 6Mpps+. Александр Шишебаров (Selectel)

Всегда приятнее делать улучшения через дополнение, а не полную замену. В данном докладе вспомним об устройстве сетевой подсистемы Linux и узнаем, как в ней на большой нагрузке можно перехватывать и обрабатывать трафик через eBPF без полной перестройки существующего движения трафика.

До скорой встречи, друзья, на HighLoad++ 2024 🙌

✅ Программа конференции и расписание на сайте

Доклад Романа Лебедя «Исправлять — не искать. Разработка и внедрение AI-ассиcтента для исправления уязвимоcтей в коде» — это отличная возможность посмотреть, как AI может помочь с разбором отчетов сканеров кода и с созданием исправлений для уязвимостей.

Роман расскажет о том, как создавали и внедряли решение для помощи разработчикам в устранении уязвимостей и недостатков в коде с использованием технологий ИИ. Поделится результатами сравнения коммерческих и Open Source-моделей, различными трюками для улучшения качества, тестирования, обогащения данных. Покажет примеры работы и общую архитектуру решения.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке на тему «Информационная безопасность», который пройдёт при поддержке Яндекса.

✅ Программа Яндекс-трека на сайте

Уязвимости бизнес-логики — одни из самых опасных и сложно-детектируемых. Однако их может эффективно обнаруживать сама команда разработки, ещё на этапе проектирования.

В докладе Николая Хечумова «Agile'ификация моделирования угроз в командах разработки» делается попытка обернуть моделирование угроз в приносящий практическую пользу и понятный для команд разработки процесс.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке на тему «Информационная безопасность», который пройдёт при поддержке Яндекса.

✅Программа Яндекс-трека на сайте

🖐️ На HighLoad++ 2024 приходите на доклады, о которых рассказываем сегодня, чтобы узнать:

- о будущем Greenplum и альтернативных решениях для Data Lake House;
- опыт увеличения пропускной способности инференса в 10 раз с помощью Triton и Kubernetes;
- как эффективно интегрировать LLM в бизнес-процессы и оптимизировать инференс для успеха;
- как обеспечить качество данных и избежать распространенных ошибок в бизнесе

🔄

1) Жизнь после Greenplum: выбор Open Source-решения для аналитики. Петр Гуринов (Лемана ПРО (Леруа Мерлен))

В докладе рассматривается опыт перехода с Greenplum на альтернативные решения для аналитической платформы. Описываются причины поиска новых решений, критерии их выбора, а также практический опыт внедрения Iceberg, Trino и S3. Особое внимание уделяется опыту использования выбранной архитектуры.

2) Nvidia Triton Inference Server: строим production ML без разработчиков. Антон Алексеев (Selectel)

Антон расскажет про аспекты реализации инференс платформы на базе Triton Nvidia Server - почему они ушли от Seldon, как реализовали скейлинг ресурсов, канареечный деплой моделей и инференс граф, а также как увеличить пропускную способность инференса в 10 раз за счет оптимизации triton.

3) Построение инфраструктуры LLM с нуля на основе опыта Х5 Tech. Мичил Егоров (X5 Tech)

С середины 2023 года команда AI X5 расширилась с 2 до 30 специалистов и реализовала несколько успешных проектов. Мичил поделится опытом разработки, сложностями и инструментами, уделяя внимание архитектуре LLM: инференс, логирование, мониторинг и интеграция для устойчивости к нагрузкам.

4) Data Quality против всех. Богдан Володарский (Wildberries)

В докладе будет подробно разобрано понятие качества данных, подходы к его обеспечению, экспертное заключение о том, что надо учитывать, когда разработчик, архитектор и менеджер имеют дело с разработкой системы, оперирующей важными данными.

До скорой встречи на HighLoad++ 2024 🙌

✅ Расписание конференции на сайте

Доклад Саркиса Наняна «Identity Aware Proxy — как сделать весомый шаг в сторону Zero Trust» — это увлекательный рассказ о том, как понять, в какой момент становится недостаточно уже ставших классическими решениями по доступу и нужно строить новый подход.

Рассказ изобилует техническими и организационными деталями, что делает его незаменимым на больших масштабах.

Доклад будет особенно интересен сотрудникам информационной безопасности, инженерам, отвечающим за разработку и поддержку средств доступа и прокси.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке на тему «Информационная безопасность», который пройдёт при поддержке Яндекса.

✅Программа Яндекс-трека на сайте

В программе HighLoad++ 2024 вас ждёт специальная секция «Big Data Processing», которую мы подготовили при поддержке МТС.

В МТС более 20 петабайт данных — на их основе принимаются математически обоснованные решения, улучшается качество обслуживания клиентов и оптимизируются ресурсы. Это позволяет компании занимать и удерживать лидерские позиции на рынке коммуникаций и цифровых услуг.

Приходите на доклады секции, чтобы поговорить о Big Data: какие преимущества и возможности массивы данных открывают для бизнеса и как правильно их использовать.

Первая часть докладов секции:

•От UDF к Broadcast Join и обратно. История одной Spark-оптимизации. Павел Молчанов (МТС Диджитал)

Павел расскажет, как команда по обработке геоданных из Big Data МТС оптимизировала ETL на PySpark с более чем 10 миллиардами строк в день на входе. Пройдем через 5 разных алгоритмов решения задачи от наименее производительного к самому быстрому. Поговорим о планах запроса, User-Defined-Functions, Broadcast-джоинах, Python и Scala.

•Оптимизация Spark-приложений от простого к сложному. С примерами. Александр Маркачев (билайн)

Александр объяснит, как билайн сокращает ресурсы на обработку данных, оптимизируя Spark-приложения. В докладе он поделится секретами улучшения производительности — от репартицирования до эффективного запуска небольших Spark-приложений.

✅ Подробнее о секции «Big Data Processing» можно узнать на сайте

🖐️ Ждём вас на HighLoad++ 2024

Реклама ПАО МТС erid: LjN8KFAwA

Всегда полезно погрузиться в чужой опыт управления сложной и большой инфраструктурой.

В докладе Дмитрия Чехлыстова «Как мы учились управлять миллионами учетных записей и их секретами. Объединяем IGA, PAM и Vault» вы сможете узнать об особенностях стройной системы управления доступом. Не только создание привилегированных учетных записей, но и полный жизненный цикл с ролями, полномочиями и секретами.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке на тему «Информационная безопасность», который пройдёт при поддержке Яндекса.

✅Программа Яндекс-трека на сайте

Защита сервисов от внешних угроз, анализ поведенческих и технических сигналов для различения запросов от людей и роботов, а также умение отличать подлинные отзывы и рейтинги от фальшивых — все это делает информационную безопасность неотъемлемой частью современного интернета.

А как вы подходите к обеспечению и повышению уровня информационной безопасности? Впервые на HighLoad++ мы предлагаем обсудить этот вопрос на отдельном треке, который мы подготовили при поддержке Яндекс.

Яндекс инвестирует в разработку технологий и инструментов, которые делают наши сервисы одновременно и безопаснее, и удобнее.

В рамках Яндекс-трека участников ожидают доклады по следующим темам:

• Безопасность разработки
• Безопасность платформы
• Безопасность сети
• Безопасность организации
• Вообще безопасность

Приходите поделиться своим опытом, обсудить методы или насущные проблемы и узнать о практиках Яндекса из первых уст.

✅ Чтобы узнать больше о Яндекс-треке на HighLoad++ 2024, переходите по ссылке

Николай Фомин из МТС Диджитал в своём докладе представит всеобъемлющий взгляд на тему умного дома и конкретно его безопасности. Об этом думают во всем мире — и это точно нужно понимать и разработчикам, и простым пользователям.

Рассмотрим разницу между умным домом и умным многоквартирным домом. Ознакомимся с международным анализом уязвимостей и угроз кибер-физических систем современных домов и использования IoT и IIoT на службе цифровизации домов. Сформулируем гипотезы перспектив повышения уровня безопасности умного многоквартирного дома.

Встречаемся уже через три дня на HighLoad++ 2024 в Москве 🖐️

✅ Программа конференции и расписание на сайте

Привилегированный доступ к *nix-системам обычно строится через SSH. Аутентификация в SSH развивалась эволюционно, методы аутентификации покрывали различные кейсы и строились исходя из ограничений окружающей инфраструктуры.

Эльдар Заитов в своём докладе «Эволюция аутентификации в SSH: от паролей до наших дней» расскажет о плюсах и минусах каждого из подходов. Как они в Яндексе перешли от аутентификации по ключам на аутентификацию по сертификатам, какие проблемы решали и что получили в результате.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке на тему «Информационная безопасность», который пройдёт при поддержке Яндекса.

✅ Программа Яндекс-трека на сайте

«Важные аспекты обеспечения безопасности облачной инфраструктуры, или Как не разбить коленку при заезде в облако» — тема доклада Николая Панченко и Елизаветы Леоновой в рамках Яндекс-трека «Информационная безопасность»

Спикеры расскажут о «подводных камнях» заезда нагрузок экосистемы Т-Банка в публичное облако на примере Yandex Cloud, а именно: особенности обеспечения доступа пользователей в YC, настройка сетевой сегментации в большом количестве облаков, защита пайплайна и обеспечение контроля публикации приложений из YC.

До скорой встречи на HighLoad++ 2024 🖐️

✅ Программа Яндекс-трека здесь

«Big Data Processing» — специальная секция в программе HighLoad++ 2024, подготовленная совместно с МТС.

На докладах обсудим, какие преимущества и возможности предоставляют большие объемы данных для бизнеса, а также как эффективно их применять. Рассмотрим ключевые аспекты работы с большими данными и стратегии их использования для достижения успешных результатов.

🔄Вторая часть докладов секции, первая здесь

•Как построить Data Lineage на логах Apache Spark. Рамиль Мамедов (Сбер)

Рамиль представит собственную систему Data Lineage для Apache Spark, созданную на базе открытого кода. Узнаем, как отслеживать движение данных от источника до потребителя, создавая прозрачность на каждом этапе.

•Как мы заменили сотни Join’ов на один РТ-процессинг с 1kk RPS. Максим Стаценко (Яндекс)

Максим расскажет, как команда Яндекс построила систему для обработки миллион запросов в секунду. Увидим, как переход от MapReduce к real-time процессингу позволяет экономить ресурсы и получать данные мгновенно.

🖐️ Ждём вас на HighLoad++ 2024 и на докладах секции «Big Data Processing»

Реклама ПАО МТС erid: LjN8KNE3i