Написал разбор свежей статьи от Alibaba о фундаментальных моделях. Эта тема меня очень интересует, хотя подход, основанный на ручных признаках, не тот, который мы используем в своей работе.

Обязательно подпишитесь на Рекомендательную: там публикуются разборы актуальных статей, и очень часто их делают ребята из нашей команды.

Генеративные рекомендации III. Хайп и хаос

Меняя компанию, я успела походить по собесам в области RecSys DL, и в одной из секций всегда всплывали генеративные рекомендации. Тема сейчас настолько хайповая, что в терминологии полный хаос, который идёт к нам ещё из научных статей. Пара примеров понимания "генеративных рекомендаций" из статей 23-25 годов:

“The first generative recommendation system in the literature” – хочет назвать известная компания свою же прошлую архитектуру из “Actions…” (ICML'24). Сподвигает их к этому предложение "Generative Recommender", но их парадигма по сути только заменяет концепцию обучения с impression-based на авторегрессивную, не меняя ни задачи модели, ни способ инференса.

"In the paradigm of generative recommendation, the primary objective is to predict the next item a user is likely to interact with" - хочет написать Huawei в препринте этого года. И приписывает таким образом пальму первенства генеративных рекомендаций ванильному SASRec из 2019 года (а то и BERT4Rec из 2018). Мотивация Huawei понятна: они обновляют архитектуру трансформера для простой Shifted Sequence модели (как это делают FuX-α, HSTU, eSASRec и пр.), не меняя концепцию обучения или задачи инференса. Но подчеркнуть актуальность статьи нужно, “Generative” в название статьи добавить хочется, и потому возникает такой вот финт, причём применяется он сейчас в статьях часто. Под "Generative" в заголовке статьи 2024-25 года часто будет скрываться именно авторегрессивная постановка обучения, без концептуальных нововведений на уровне моделирования. Разве что каузальная маска внимания может быть чуть видоизменена под конкретную задачу, как в "Generative Rankers" из моего прошлого поста.

“We propose a generative Next-K strategy, where recommendations are generated item-by-item” – пишет Саша Петров с соавтором в "Generative Sequential Recommendation..." (SIGIR’23). Тут реализуется простая идея: айтем, сгенерированный авторегрессивной моделью, можно подставить в последовательность и продолжить генерировать рекомендации дальше. Помимо жадной генерации есть и другие стратегии. Интуитивно очень понятный подход, и тут он «генеративный» уже в прямом смысле слова, без оговорок. Но хайпует сейчас другое.

“We propose a new paradigm ... Instead of traditional query-candidate matching approaches, our method uses an end-to-end generative model that predicts the candidate IDs directly.” – пишет Google в статье про TIGER (NeurIPS’23). TIGER использует полноценную энкодер-декодер архитектуру и обучается генерировать один следующий айтем (состоящий из набора иерархических semantic ids) для пользователя с заданной историей (в которой также каждый айтем представлен как набор semantic ids). Результаты на публичных датасетах у этой модели легко бьются простым SASRec с gBCE или SS лоссом, но важно далеко не это. Открывается целое направление в RecSys ресёрче:

“We propose OneRec, which replaces the cascaded learning framework with a unified generative model. This is the first end-to-end generative model” - пишут KuaiShou в препринте OneRec (2025). В данном случае одна модель заменяет собой все стадии индустриальных рекомендательных пайплайнов от кандидато-генерации до ранжирования. Прямая генерация айтемов по семантическим айди повторяет идею TIGER, так что в первом приближении модель относится к кандидато-генерации ("Generative Retrieval"). Но использование RL подходов в серии статей “One…” от KuaiShou
позволяет моделям дообучаться на максимизацию приносимого ими профита. По сути, это инкорпорация сразу и ранжирующего сигнала (конверсии в целевые действия - на которые учатся ранжирующие модели), и даже более общего экономического сигнала сразу в единую модель. Что в идеальном мире позволяет ей быть end-to-end генеративным рекомендательным движком, затюненным на полезность в сервисе. Так что законно задаёмся вопросом – не это ли RecSys будущего?

Про серию “One…” можно почитать хардовые разборы у Коли Савушкина из Яндекса и поучаствовать в ближайших ридинг группах VK.

Подпишитесь на канал Даши Тихонович, если интересно читать про актуальные рекомендательные технологии.

А ещё прочитайте eSASRec, где Даша - первый автор. Достойная работа, которая принята на RecSys ’25!

Oral от Саши на RecSys 🔥

PML

Выступаю завтра на PML с рассказом про опыт внедрения генеративных моделей в нашу экосистему. Постарался подготовить очень практический материал, который можно будет применить в вашей компании. Должно быть полезно, даже если у вас нет большого числа видеокарт и намерения строить end2end генеративные рекомендации.

Оффлайн билетов уже нет, но можно посмотреть трансляцию:
https://pmlconf.yandex.ru/2025/

Презентация с сегодняшнего выступления

Всем спасибо, кто дошел, было приятно видеть полный зал!

Yandex Cup

Пока я немного погряз в работе и запусках (надеюсь очень скоро будет, чем поделиться в канал), напишу здесь про Yandex Cup. В этом году пересобрали ML трек, задачи должны стать интереснее, а финал пройдет в Стамбуле.

Если интересно попробовать свои силы, еще остается несколько дней на регистрацию:
https://yandex.ru/cup

CIKM'25

В этом году я решил не ехать на RecSys, зато лечу на CIKM в Сеул. Не все слышали про эту конференцию, хотя на ней публикуются очень многие хорошие работы.

В программе этого года самые интересные (на мой взгляд) работы от Pinterest (TransAct V2 и PinRec), несколько работ от команды OneRec из Kuaishou (например QARM про способ токенизации и Pantheon, который они используют в качестве reward модели), а также end2end генеративная рекламная система от Meituan (самой большой доставки еды в мире).

Постараюсь привезти какие-нибудь инсайты, которыми поделюсь в канале.

CIKM'25 recap

Для меня это первый опыт поездки на CIKM и надо сказать, что конференция показалась мне в разы более полезной, чем RecSys. У обеих нет статуса A*, но CIKM отличается более лайтовым ревью работ. Например там нет ограничений на публикацию статьи до самой конфы. Казалось бы, такой подход должен привести к негативному отбору, но по факту на конференцию привозят большое количество отличных индустриальных и прикладных работ, которые не прошли по критериям научности в другие места.

Несколько заметок на полях по результатам поездки:

1. Тренд на Target Aware архитектуры в ранжировании
Компании переходят от классических deep ranker архитектур, основанных на feature interaction, к моделям с использованием раннего связывания с историей пользователя (InterFormer, RankMixer, MTGR, TransAct V2).

Общая идея:
- Используем сырую историю событий как вход в модель
- В attention нужно подставить как историю, так и самого кандидата (в виде одного или нескольких токенов)
- Сохраняются классические ручные признаки

Тренд появился не вчера, но все ещё не стихает. Мы в Яндексе тоже внедряем такие модели. На PML'25 как раз был доклад об этом от Пети Зайделя из команды Музыки.

2. Конкуренция на китайском рынке рекомендательных систем
По статьям прослеживается, насколько китайский рынок конкурентен. Как минимум 3 популярные платформы коротких видео (Douyin, Kuaishou, Weixin Channels) и 2 крупных ecom сервиса (Meituan и Taobao) привезли свои работы.

Кроме того, на CIKM приехали ребята из NetEase Cloud Music - 2й по популярности платформы музыкального стриминга в Китае. Говорят, что читают наши статьи и активно пользуются датасетом, попросили сфотографироваться 🙂
Доклады у них кстати тоже были неплохие: Climber про target-aware transformer и работа про semantic ids.

Ещё один интересный инсайт про конкуренцию: компании скрывают настоящих авторов своих работ, чтобы тех не захантили конкуренты! Узнали мы это из приватного разговора в куллуарах 🙂

3. Тренд на end2end системы только набирает обороты
Я здесь много пишу про то, что мы верим в end2end генеративные рекомендтельные системы и строим такую у себя (поделюсь кстати в ближайшее время, как у нас с этим дела). Meituan привез на конференцию работу про свою реализацию - EGA v1. Несмотря на то, что работа выпущена весной этого года, из слайдов мы узнали, что АБ тест провели уже больше года назад! Надо догонять 🙂

На конференции были ребята из core команды OneRec. Удалось узнать у них много деталей, которых нет в статьях. Западные команды тоже вдохновились работой и пытаются нагнать. Говорят, основные сложности лежат в инфраструктуре. По нашему опыту это действительно непростая часть.

Ещё немного инсайдов:
- Pinterest не переобучают и не дообучают свой PinRec, хотя в модели используются item id. Очень неожиданно и даже странно
- PinnerFormer не используется как кандидат-генератор, только как фича в downstream моделях
- TransAct V2 переобучают раз в неделю, но со случайных весов
- Для построения semantic ids в OneRec использовали всего 200 GPU 🗿

ML Global Recap'25

Готовлю выступление на наш митап ML Global Recap. Расскажу там по-подробнее, как я вообще вижу текущие тренды в рекомендациях, куда идут разные компании и что рассказали на конференциях в этом году. По-подробнее расскажу, что было на RecSys (я на него не ездил, но от нашей команды была большая делегация) и на CIKM, добавлю каких-нибудь инсайдов.

Кроме меня выступит Лёша Гусаков, наш CTO, с рассказом про NeurlPS, а также лиды CV, NLP и Speech команд с рассказами про тренды в их областях. Должно быть интересно!

Презентацию скину в канал, но лучше приходите послушать лично. Пообщаемся после выступления в куллуарах 🙂

Ссылка на регистрацию

Подборка статей 2025 (часть 1)

Как и обещал, выкладываю подборку статей по темам, которые освещал на выступлении.

End2End
- OneRec: Unifying Retrieve and Rank with Generative Recommender and Iterative Preference Alignment
- OneRec Technical Report
- OneRec-V2 Technical Report
- OneLoc: Geo-Aware Generative Recommender Systems for Local Life Service
- OneSug: The Unified End-to-End Generative Framework for E-commerce Query Suggestion
- OneSearch: A Preliminary Exploration of the Unified End-to-End Generative Framework for E-commerce Search
- UniSearch: Rethinking Search System with a Unified Generative Architecture
- EGA-V1: Unifying Online Advertising with End-to-End Learning
- EGA-V2: An End-to-end Generative Framework for Industrial Advertising
- GPR: Towards a Generative Pre-trained One-Model Paradigm for Large-Scale Advertising Recommendation

LLM + RecSys
- PLUM: Adapting Pre-trained Language Models for Industrial-scale Generative Recommendations
- OneRec-Think: In-Text Reasoning for Generative Recommendation
- Align3GR: Unified Multi-Level Alignment for LLM-based Generative Recommendation
- GFlowGR: Fine-tuning Generative Recommendation Frameworks with Generative Flow Networks

Масштабирование
- LONGER: Scaling Up Long Sequence Modeling in Industrial Recommenders
- Scaling Generative Recommendations with Context Parallelism on Hierarchical Sequential Transducers
- Twin-Flow Generative Ranking Network for Recommendation
- InterFormer: Effective Heterogeneous Interaction Learning for Click-Through Rate Prediction
- MARM: Unlocking the Recommendation Cache Scaling-Law through Memory Augmentation and Scalable Complexity
- TBGRecall: A Generative Retrieval Model for E-commerce Recommendation Scenarios
- RankMixer: Scaling Up Ranking Models in Industrial Recommenders
- Climber: Toward Efficient Scaling Laws for Large Recommendation Models
- MTGR: Industrial-Scale Generative Recommendation Framework in Meituan
- Action is All You Need: Dual-Flow Generative Ranking Network for Recommendation
- Meta’s Generative Ads Model (GEM): The Central Brain Accelerating Ads Recommendation AI Innovation
- OneTrans: Unified Feature Interaction and Sequence Modeling with One Transformer in Industrial Recommender
- Massive Memorization with Hundreds of Trillions of Parameters for Sequential Transducer Generative Recommenders
- From Features to Transformers: Redefining Ranking for Scalable Impact
- From Scaling to Structured Expressivity: Rethinking Transformers for CTR Prediction
- Scaling Transformers for Discriminative Recommendation via Generative Pretraining
- Meta Lattice: Model Space Redesign for Cost-Effective Industry-Scale Ads Recommendations