С наступающим Новым Годом 🎄🎅

Уходящий год выдался очень насыщенным: я сильно погрузился в lifelong рекомендации с огромным контекстом истории юзера (argus и llm x recsys), пробовал дружить персонализацию и промо (тут еще многое впереди!), расширялся в content intelligence, crm и поиск

А еще много путешествовал и тренировался в одном из топ теннисных центров на Тенерифе: немало последил за тренировками игроков топ-30 мира и сам сильно прокачался. В общем, было насыщенно!

Желаю, чтобы в 2026 у вас было еще больше впечатлений и чтобы исполнились все ваши ML-ные мечты: вкатиться в IT или вырасти в навыках/грейде, опубликовать статью на А* конфе, обучить SOTA модель, найти свое призвание и идеальную компанию

Ну и чтобы модельки учились, деньги мутились - ml4value все же 👍

[1/3] Что случилось в мире рекомендаций и поиска за 2024-25гг?

За последние 2 года в мире recsys идет революция не меньше изобретения attention и gpt. С интересом наблюдаю и применяю многое в работе - хочу поделиться, что происходит в нашем мире:)

1. Large Recsys Models
LRM, получается? 😅

Еще год-два назад SOTA SASRec работал с максимум 512 последними действиями (заказы, корзины, лайки, клики) пользователя. Естественно, у многих юзеров даже за 6 мес действий больше, а у активных контекст переполнялся за 1 месяц

И вот вышла революционная статья Actions Speak Louder than words с генеративной recsys моделью HSTU-8к. Основная фишка: меняем парадигму обучения с next action prediction на генеративную. По факту, чуть по-другому собираем датасет и эффективнее считаем матричные произведения

Это позволяет ускориться х5-х15 раз (снижается сложность О(seq_len^3) до О(seq_len^2). И, собственно, скейлиться до длины последовательности в 8к и размера модели в 1.5В параметров

Хайп HSTU подхватили и другие компании: Вышли более эффективные реализации вроде Argus-8k от Яндекса (мы в Я.Маркете тоже его используем), модели с 100k контекстом от Kuaishou и другие

2. Маленький «словарь» товаров с Semantic IDs 📕
Годами область RecSys отличалась от NLP по факту размером словаря. В NLP - это 30-100к благодаря эффективным токенайзерам, а в рексис 10-100М, тк «слово» = товар, а уникальных товаров много

Эта проблема мешала масштабированию моделек, холодному старту, качеству обучения и еще в десятках мест поменьше

Рисерчеры из Google придумали Better Generalization with Semantic IDs. Берут контентные вектора товаров (текст, картинка) и хитро последовательно кластеризуют их через RQ-VAE. Основная фишка в том, что финальный id товара = сумме id его кластеров

semantic_itemid = cluster_iter1 + cluster_iter2

Кластеров всего ~10-100K. Вуаля, наш словарь как у LLM — опять же можно масштабировать модели и делать генеративное обучение как в llm

3. Рекомендации в один шаг🦵
Классика рекомендаций: отбираем топ-1к товаров-кандидатов легкой моделью (обычно двухбашенная модель: вектор юзера х вектор товара + инференс через faiss). Затем переранжируем более тяжелой моделью. Из-за такой схемы на первом этапе кандидатогегерации могут теряться релевантные товары

OneRec объединили генерацию кандидатов, ранжирование и еще реранкер по разнообразию в один шаг! Честно говоря, сам еще продолжаю разбираться: там серия из 5 статей страниц на 200. Но это явно будет hot topic и в 2026

4. LLM-ки нашли свое место в RecSys 🧐
Нам долго обещали, что LLM заменят чисто рекомендательные модели, но нет. Попыток было много, в итоге пришли к компромиссу: LLM генерит «интерес пользователя» текстом (одежда для походов, декор в японском стиле), а более классические recsys модели - товары внутри этих интересов. Вариантов реализации много, мне нравится RecGPT: можно считать в оффлайн, не так много запросов к llm (ну как.. 10-100М, а не миллиарды-триллионы), можно прикручивать SGR и другие приятности


Хотя бы одно из этих улучшений внедрено в прод хорошо если в 10-20 компаниях в мире, с огромными приростами метрик. Так что сейчас - самое время внедрять это у вас, если еще не успели!)

В следующей части будут продуктовые recsys & search изменения: без статей, но с картинками 🖼

Middle+ ML engineers ко мне в команду рекомендаций Я.Маркета (3 вакансии)
300-400к руб на руки
Москва, Спб или remote
*если вы senior - тоже пишите, договоримся)

Наша команда рекомендаций Яндекс.Маркета делает персональные рекомендации товаров на главной странице, подбирает похожие и сопутствующие товары, персонализирует поиск, crm-коммуникации и другие поверхности. Мы - бизнесовая команда, которая приносит прямой прирост выручки/прибыли компании в АВ-тестах. Баланс бизнес-рисерч у нас 80-20

Сейчас мы ищем уверенных ML инженеров на 3 трека: нейросетевые рекомендации, более классический recsys + discovery, СRM-персонализация.
Внутри команды со временем трек можно менять, это скорее фокус на ближайшие полгода

1. Нейросетевые рекомендации
Предстоит работать в первую очередь над трансформерной моделью ARGUS-8k, глубоко погружаться в архитектуру

- Добавление новых входных данных для нейросетей: поисковые запросы, новые типы действий (шеринг ссылки на товар), фичи пользователей и тп
- Эксперименты с эмбеддингом товара: что из текстового описания и характеристик использовать, как учесть картинки товаров, semantic id и дп
- Эксперименты с архитектурой: добавление отдельной головы под новый таргет, изменение лосса и тп
- Адаптация моделей под сценарии: рекомендации на главной странице, товары-аналоги (учет контекста основного товара), поиск (учет контекста поискового запроса)
- Анализ наших данных и поиск точек роста в ML-моделях через новые таргеты, входные данные или фичи

2. RecSys и Discovery
Нужно оптимизировать не только количество действий пользователя в моменте (заказы, корзины и тп), но и учитывать юнит экономику товара
+ оптимизировать долгосрочный LTV пользователя. С нейронками работать тоже нужно, но без настолько глубокого погружения как в выкансии выше: и BERT-ы для похожих товаров учить, и LLM-ки применять, и многое другое.
Основы нашей архитектуры рекомендаций можно посмотреть в докладе на highload

- Эксперименты с таргетом ранжирующих моделей: как учесть юнит экономику товаров? как балансировать текущий интерес и новые discovery категории для пользователя?
- Discovery брендов: например, как любителям одежды показывать новые фэшн-бренды?
- Lifelong рекомендации: как запомнить релевантные интересы пользователя из далекого прошлого? Купил сноуборд 1,5 года назад (интерес/хобби - катание на сноуборде) -> рекомендуем ботинки для сноуборда или горнолыжный шлем сейчас
- Развитие моделей для подбора товаров-аналогов: коллаборативная фильтрация, статистическая со-встречаемость (PMI, swing, ...), BERT и тп
- Внедрять и улучшать LLM для рекомендаций
- Анализ наших данных и поиск точек роста в ML-моделях через новые таргеты, фичи или бизнес-логику

3. Персонализация CRM
- Строить ML-модели склонности к покупке категорий и брендов (Catboost, ALS, LightFM, трансформерные модели)
- Uplift-модели для коммуникаций с пользователем
- Определять персональную контактную политику (как часто коммуницировать? в какие дни и время?)
- Запускать АВ-тесты и влиять на бизнес-метрики
- Анализ наших данных и поиск точек роста в ML-моделях через новые таргеты, фичи или бизнес-логику

Что жду от кандидата
- Опыт работы в ML/DL от 1 года
- Python, Airflow
- SQL
- A/B тестирование и статистика
- Классический ML: catboost и способы генерации фич, ml-метрики
- Базовые знания в DL: эмбеддинги, типы слоев, функции активации, attention
- (доп для DL) Глубокое понимание нейросетей в NLP или RecSys: BERT-подобные модели

Будет плюсом
- Продакшен опыт работы с задачами поиска или рекомендаций
- Опыт работы с LLM: rag, sgr, so
- (доп для DL) Опыт с нейросетевыеми моделями рекомендаций: SASRec, HSTU


🔤 Резюме можно присылать напрямую мне в лс - @Ivan_maksimov

UPD 22 янв. Спасибо большое всем, кто откликнулся! Я не ожидал, что будет так много желающих: на ближайшие пару недель мы заняли все слоты собеседующих:) Поэтому временно резюме больше не принимаю, чтобы оперативнее отсобесить текущий пул кандидатов. Если откроем найм вновь - обязательно сообщу 😊