Что Python-инженеру стоит знать про ML-системы

Владимир Шуляк — Data Science Engineering Manager в Delivery Hero. Начав карьеру в разработке, перешел в Data Science, чтобы применять аналитический подход к решению сложных задач и помогать компаниям принимать более обоснованные решения на основе данных. За свою карьеру основал несколько стартапов и внес значительный вклад в развитие технологических продуктов.

Владимир поделился с нами книгой для знакомства с архитектурой ML-систем, ведь они всё чаще становятся частью любого продакшн-приложения. 

Machine Learning System Design Interview ориентирована на подготовку к интервью, но также поможет быстро разобраться в ключевых принципах построения ML-систем и работы ML-инженеров.

Какие главы точно стоит прочитать:

→ Chapter 7: Event Recommendation System. Дает представление о механизмах персонализации и работе с графами пользователей.
→ Chapter 8: Ad Click Prediction on Social Platforms. Полезно для работы с моделями предсказания вероятностей и A/B-тестами.
→ Chapter 9: Similar Listings on Vacation Rental Platforms. Поможет разобраться в поисковых алгоритмах, векторных представлениях и работе с эмбеддингами.

Отрывок книги можно почитать на Хабре.

#видеозаписи

Как известно, разработчиков хлебом не корми, дай посравнивать языки.

Вот в этот #питонедельник этим и займёмся.

YouTube | VK Видео

Скачать презентацию с сайта PiterPy

#видеозаписи

Сегодня в рубрике #питонедельник открываем доклад на английском языке.

Получается, сегодня не #питонедельник, а #pythonday!

YouTube | VK Видео

Скачать презентацию с сайта PiterPy

#доклады

Как давно вы заходили на сайт PiterPy? Вчера добавили новые доклады

🗣️ Опыт использования FastAPI совместно с Clean Architecture: преимущества и ограничения – Виктор Луферов (Сбер Бизнес Софт)

FastAPI и Clean Architecture — мощный дуэт для создания гибких и тестируемых API, но важно правильно организовать слои приложения и управлять зависимостями через IoC. Узнаем, как это сделать.

🗣️ onETL: как и зачем мы прикручиваем батарейки к Apache Spark – Максим Мартынов (МТС Диджитал)

Почему в МТС Диджитал решили разрабатывать onETL — библиотеку для ETL/ELT pipeline поверх Apache Spark. Чего не хватало в самом Spark и других инструментах, и как они это исправили. Будет полезно дата-инженерам и тем, кто разрабатывает для них инструменты, упрощающие работу.

🗣️ Как сделать быстрое и масштабируемое расчетное ядро на Python и не умереть рядом? – Роман Иов (Иркутская нефтяная компания)

Гибкий, быстрый и поддерживаемый код для сложных расчетов — это не магия, а правильный подход. Разберем на примере нефтяной физики, как совместить все на Python.

🗣️ Мастер-класс «Taskiq и микросервисы» – Павел Кирилин (Intree)

Узнаем как с помощью Taskiq построить микросервисное взаимодействие.

Часть докладов уже известна, а цены при этом пока не достигли максимума — они растут каждый месяц по мере приближения конференции. Поэтому самое время, чтобы запросить билет на PiterPy у компании или спланировать покупку самому.

За билетами

#видеозаписи

В этот #питонедельник открываем запись не просто одного доклада, а сразу всего блока «Tools & Frameworks».

Какой из его докладов вам интереснее всего?

YouTube | VK Видео

#видеозаписи

Про trunk-based development может быть интересно послушать от разных людей.

Но от разработчиков KasperskyOS — особенно: каково использовать TBD в проекте такой сложности, как ОС? В этот #питонедельник открываем запись.

YouTube | VK Видео

Скачать презентацию с сайта PiterPy

К наступающему Дню космонавтики мы сделали текстовую версию самого космического доклада с осеннего PiterPy.

#видеозаписи

Зачастую о безопасности кода думать не хочется, куда интереснее думать о фичах. Но всё равно полезно посмотреть видеозапись из рубрики #питонедельник и начать использовать SAST-инструмент, чтобы дальше о некоторых вещах думал он.

YouTube | VK Видео

Скачать презентацию с сайта PiterPy

#программа

Ждали полную программу PiterPy 2025? Дождались!

Программа PiterPy — уже на сайте. Чтобы вам было проще выбрать интересные для вас доклады, мы разбили все выступления по тематическим блокам. 

Добавляйте понравившиеся активности в сохраненное, чтобы составить собственное расписание конференции.

Все доклады собрали в дайджесте.

#видеозаписи

Чем отличается сеньор от джуниора? Пока джуниор ругается, что в мире уже стопицот фреймворков, сеньор пишет стопицот первый. Открываем новую запись доклада в #питонедельник.

YouTube | VK Видео

Скачать презентацию с сайта PiterPy

#доклады

Если вы до поздней ночи сидите за рабочими задачами и порой даже забываете перекусить в течение дня, то для вас на PiterPy есть нетехничекий, но важный кейноут.

Мы пригласили специального гостя — гастроэнтеролога Сергея Вялова. В докладе «Когда закончится гарантия на ваш организм?» он расскажет, как «пропатчить» привычки и сохранить здоровье.

Вы узнаете, как:
— предотвратить заболевания, которые связаны с сидячей работой, перекусами, недосыпами и стрессом;
— поддержать уровень энергии через режим сна, питания и отдыха.

После доклада приходите в дискуссионку, чтобы задать самые важные вопросы о своем здоровье.

#подкаст

AI и ML точно не заменит разработчиков. По крайней мере, пока. Но вот как он может сделать нас эффективнее…

Во втором совместном выпуске подкастов PiterPy и IML продолжаем говорить про влияние AI и ML на инженерию. На этот раз — про конкретные инструменты разработчика: генерация и автодополнение кода, тестовое покрытие, анализ кодовой базы и безопасности. Дополнит ли разработчика ИИ или заменит, как подготовиться к происходящим изменениям — будем разбираться вместе!

Основные темы:
— Популярные AI-инструменты для автодополнения, рефакторинга, анализа кода и автоматизации рутинных задач.
— Влияние AI на профессионализм и важность сохранения ключевых навыков программирования.
— Как AI перестраивает рынок фриланса и изменяет роль программистов.
— Доверие и безопасность и при использовании AI в компаниях.

Отвечаем на главные вопросы, которые волнуют всех инженеров, внедряющих AI. Делимся конкретными инструментами и обсуждаем кейсы их использования.

Гости выпуска:
— Петр Ермаков — ML brand director в Яндексе.
— Евгений Афонасьев — Team Lead в Авито. Руководит командой в юните «Антифрод». Спикер и участник ПК различных конференций по Python и бэкенд-разработке.

Ведущий:
Андрей Дмитриев — программист, директор по производству в JUG Ru Group. Участник Программных комитетов конференций IML и PiterPy.

Смотрите выпуск:
— на YouTube
— в VK Видео

#видеозаписи

Этот #питонедельник особый: до новой конференции осталось немного, и сегодня мы публикуем уже не одну запись доклада с предыдущей, а плейлист со всеми сразу.

YouTube | VK Видео

Посетите ML-конференцию по билету на PiterPy

Вы уже наверняка знаете, что в соседних залах с PiterPy пройдет ML-конференция IML. Участники PiterPy могут послушать ее доклады бесплатно.

Собрали несколько активностей IML, которые могут вам понравиться:

🗣Методы и инструменты разработки мультиагентных систем — Дмитрий Бугайченко (Сбер)
Затронем «хайповую» тему ИИ-агентов. Как они развивались, где применяются и что поменялось в этой области с появлением LLM.

🗣Жизнь без GPU: архитектура NPU (ИИ-ускорителей) и их практическое применение — Дмитрий Ильин (OpenIPC)
Разберем общие принципы работы NPU и архитектуру ключевых компонентов, таких как блоки умножения и накопления (MAC).

🗣Discovery-рекомендации товаров, которые работают. Опыт Яндекс Маркета — Иван Максимов (Яндекс)
Как строить discovery-сценарий для роста долгосрочной LTV и какие есть грабли? Узнаем об этом на примере Яндекс Маркета.

🗣Как мы ранжируем платные объявления в поиске и ленте рекомендаций — Александр Ледовский (Авито)
Обсудим механику показа платных объявлений в поисковой выдаче и ленте рекомендаций Авито.

🗣Введение в агенты с YandexGPT и Yandex Cloud — Дмитрий Сошников (МАИ / НИУ ВШЭ)
Мастер-класс, на котором познакомимся с основами построения многоагентных систем на базе семейства языковых моделей YandexGPT 5.

Все доклады PiterPy и IML уже известны, а цены пока не достигли максимума — отличный момент, чтобы запросить билет у компании или приобрести его самому.

За билетами на PiterPy

Турнир по Ship IT!: будем деплоить в следующую пятницу

Для офлайн-участников PiterPy мы проведем турнир по Ship IT! — настольной игре про IT. Задача — первым задеплоить все компоненты архитектуры в прод. Для этого «душите» коллег, следите за своей инфраструктурой, применяйте sudo, находите ошибки и уязвимости в чужих приложениях.

Когда: 16 мая, 19:30
Где: Зал 4, на вечеринке PiterPy + IML. Без записи и трансляции.

Какой формат:
— выберем «душный» режим вместе с фриланс-режимом;
— разобьем вас на команды по 2—5 игроков;
— проведем три игровых круга + раунд для победителей;
— подарим настольную игру за выход в финал, за победу — бесплатный билет на любую конференцию JUG Ru Group на выбор.

🚨Если играете впервые — прочитайте правила заранее.

Для участия в турнире зарегистрируйтесь онлайн.

PiterPy в статусе Ready for Deployment. Вы с нами?

Конференция пройдет 16–17 мая в Питере с возможностью подключиться к прямой трансляции. Кроме насыщенных технических докладов, вас ждут:

→ Кейноут о здоровье программиста

Гастроэнтеролог Сергей Вялов расскажет, как предотвратить заболевания, которые связаны с сидячей работой, перекусами, недосыпами и стрессом.

→ Подкаст о том, как устаревает экосистема Python

Открытая запись подкаста о том, что же произошло в экосистеме за последние пару лет и что ее ждет в будущем.

→ Турнир по настольной игре Ship IT!

Задача — первым задеплоить все компоненты архитектуры в прод. Для участия в турнире регистрируйтесь онлайн.

→ Lightning talks

Открытый микрофон для всех, кто участвует в конференции. У спикера будет 10 минут, чтобы представить доклад на профессиональную или околопрофессиональную тему. Записывайтесь на выступление прямо на площадке или заранее заполняйте заявку.

→ Активности от K2 Cloud

Продолжим разговор о технологиях, но в форме квизов и дискуссий.

Подробности и билеты

Приглашаем вас оставить фидбэк о стендах и активностях партнеров в формате квеста. Взамен разыграем набор мерча и билет на следующую конференцию!

Как проходить квест: авторизуйтесь в Telegram-боте (ссылку найдете по QR-коду на открытии конференции и любом стенде) → загляните на стенд партнера → зачекиньтесь — попросите у партнера QR-код и отсканируйте его → оставьте фидбэк. Поделитесь впечатлениями о стенде: что понравилось, а что было не так — это поможет нам сделать следующую выставку лучше.

Среди всех, кто соберет 3 чекина и оставит 3 комментария с обратной связью, мы случайным образом выберем трех победителей и подарим каждому сумку с мерчем от партнеров. А среди тех, кто зачекинится и оценит 5 стендов, мы разыграем один главный приз — билет на следующую конференцию.

Когда: начинаем 16 мая с открытия конференции. Выполнение заданий нужно завершить 17 мая до 15:10. Итоги будем подводить на закрытии 17 мая в 18:00.

#подкаст

Как Python стал главным языком для Data Science и ML? И почему классические Python-разработчики не прибегают к ИИ-разработке? Ответы в новом выпуске подкастов PiterPy и IML

Вместе с инженерами из Точки мы устроили битву подходов: классический питонист против ML-инженера. Чистый код против ИИ-магии.

С точки зрения классического Python посмотрели на виды разработчиков, причины отказа от ИИ и использование языка для обработки больших данных.
Со стороны ML — посмотрели на современный стек, библиотеки и инструменты. Поговорили про облачные сервисы и инфраструктуру для ML, включая MLOps.

Обсудили производительность и надежность, будущее разработки с автокомплишенами и новыми инструментами обучения программированию. А еще поделились личными кейсами, такими как дебаг SQL-запроса при помощи GPT, и обсудили, где ИИ действительно полезен, а где — нет.

Гости выпуска:
— Елизавета Афанасьева — построила систему речевой аналитики в Точке. Сейчас работает в команде, разрабатывающей свою LLM. Заядлый слушатель, спикер и участник ПК конференций.
— Николай Хитров — делает сервисы в Точке. Рассказывает, как писать enterprise на Python за пинту пива.

Ведущий:
Андрей Дмитриев — программист, директор по производству в JUG Ru Group. Участник Программных комитетов конференций IML и PiterPy.

Смотрите выпуск на YouTube или в VK Видео.

P.S. Конференции IML и Piterpy начинаются уже в эту пятницу. Если вы еще не купили билет, самое время это сделать — и встретиться с другими инженерами и разработчиками. 16 мая, в Санкт-Петербурге или онлайн.

После докладов — на вечеринку!

Завтра вечером после всех докладов приглашаем на АфтеПайти от команды K2 Cloud. Отдохнём, поучаствуем в близких по духу активностях и поболтаем о технологиях в неформальной обстановке.

Что будет на вечеринке:

— Брейн-баттл «Что? Где? К2?». Командная игра на знание IT, Python и всего, чем живет разработчик. Приходи думать и повеселиться.
— Лаунж-зона «Py&Talks». Пуфики и карточки с разными холиварными темами, чтобы и разговор завести, и мнением поделиться.
— K2 Cloud Bar. Напитки с кастомными этикетками про Python и снеки.

Встречаемся в 19:00 на первом этаже. А пока можете заглянуть в бот вечеринки — там много полезного.

В этом посте — информация о времени и месте проведения конференций PiterPy и IML

Место
Конференция пройдет в конгресс-отеле Airportcity Plaza по адресу: Санкт-Петербург, ул. Стартовая, 6, литера А.

Оставить личный автомобиль можно бесплатной парковке у отеля. Количество свободных мест ограничено.

Ближайшая станция метро — Московская. От нее до площадки конференции можно доехать на бесплатном шаттле.
Построить маршрут
— В Яндекс Картах 
— В 2ГИС

2ГИС покажет верный путь и на площадке. Откройте карту по ссылке и стройте маршрут прямо до стойки регистрации, нужного зала или стенда на выставке.

Расписание офлайн-дней
— 16 мая — регистрируем участников с 9:30, начало в 10:30. В конце афтерпати до 23:00.
— 17 мая — начало в 10:30. Закрытие конференции — в 18:00.

Полное расписание конференции — на сайте PiterPy.

Уже завтра встретимся на конференциях PiterPy 2025 и IML 2025. В Санкт-Петербурге и в онлайне.

Чтобы ничего не пропустить, сохраняйте расписание в дайджесте или в формате PDF.