🍭 Праздник к нам приходит, праздник к нам приходит.. Админ КДВ подводит итоги года!

💕 В этом году я сменил место работы и с головой ушел в рекомендации в Яндекс Маркете. Поэтому много писал о ранжировании и рекомендашках. Очень важный пост про индексы, про основные подходы в рекомендашках, про BERT в RecSys.

О причинах смены места работы тоже, кстати, пост есть)

💕 Я окончил бакалавриат в МИСИС и поступил в Магистратуру Центрального Университета на Продуктовый менеджмент. Всем абитуриентам рекомендую почитать про мои первые впечатления.

А в этом посте сравнил магистратуры в ЦУ, Вышке и МИСИС. Будет полезно всем будущим магистрам!

Я обожаю путешествия, и в этом году 2 недели провел в стране, в которой давно хотел оказаться (а еще в Грузии и Китае). Серия постов про Японию 🇯🇵

✨ Год получился очень насыщенным и интересным! А в следующих постах подведем итоги канала

❤️ Прошел практически год с моего увольнения и прихода в Яндекс.

Как вы знаете, Маркет, Лавка, Браузер, Еда, Такси, Алиса, Диск, Карты, Музыка, Недвижимость, Кинопоиск, Афиша, Телемост, Переводчик (пальцы устали печатать) и многое другое — это все Яшечка.

🐦 Все эти сервисы создают люди, талантливые и неповторимые в своих лучших чертах.

За этот год я познакомиться с десятками крутых ребят. Выяснилось, что многие ведут свои каналы — и так родилась на свет самая яндексовая папка каналов from YNDX .

✨ Ребята вещают об аналитике, МЛе, продуктах — и других темах. Вобщем рекомендую изучить каналы и экспертизу ребят, даже если на новогодние праздники уже слишком плотный график 😜

💕 Предлагаю долго не размусоливать — и сразу с корабля на бал. Как-то так вышло, что до сих пор на этом канале мы не говорили о задаче и подходах к Next Item (Action) Prediction.

Как обычно, будем обсуждать всё в контексте маркетплейса. Пусть, для определенности, у нас есть User_1, который купил товары Item_1, Item_2, ..., Item_N. Мы хотим по этой цепочке спрогнозировать Item_N+1, который пользователь с наибольшей вероятностью приобретет следующим.

✏️ Важные замечания:
• Количество Item ограничено. Да, на маркетплейсе могут появляться новые товары, но мы будем считать, что асортимент внутри дня меняется незначительно. Допустим, что всего у нас M айтемов.
• Пользователи могут быть "Холодными" — то есть с короткой историей. Например, пользователь зарегистрировался только вчера и еще не успел купить ни одного товара. Пусть, на момент построения модели у нас U уникальных пользователей.

Очевидно, что у пользователей может быть как короткая, так и длинная история взаимодействий. Однако при обучении нейросети на Next Item Prediction все вектора пользователей (последовательность их действий) должны быть одинаковой длины (назовем ее D).

✏️ Сделаем следующее:
• У пользователей со слишком длинной историей оставим только последние D действий
• У пользователей с длиной истории меньшей, чем D, оставим все действия и дополним их "Паддингами" (то есть нулями). Для D=5 у нас может получиться история юзера "0, 0, Item_X, Item_Y, Item_Z".

Таким образом, для каждого из U пользователей мы хотим выбрать один из M товаров, который те захотят приобрести. При этом для каждого пользователя мы имеем его вектор длины D — для всех пользователей получится матрица размера U x D (см фото).

🌼 Такс, задачу мы поставили. Осталось поговорить только про методы решения — SasRec, Bert4Rec, Pinnerformer, Argus. Но о них уже в следующий постах

Изображение взято из статьи на Хабре

❓ Традиционный QA с админом объявляется открытым в 2026!

Любые ваши вопросы (желательно содержательные), идеи по рубрикам, обратная связь по каналу — и вообще всё, что вы хотите мне сказать.

Постараюсь ответить на всё в комментариях под этим постом. Давайте общаться!

Присылайте сюда 👉 t.me/questianonbot?start=1397630247c

Продолжаем говорить про Next Item Prediction — сегодня про SASRec

В прошлом посте мы поставили задачу Next Item Prediction (NIP). Теперь давайте разбирать первый «классический» подход, который обычно открывает эту тему — SASRec (Self-Attentive Sequential Recommendation).

Как всегда, держим в голове маркетплейс и нашу матрицу U × D, где у каждого пользователя есть последовательность из последних D действий.

💡 Идея SASRec в двух словах

SASRec — это Transformer-only модель, которая использует self-attention, чтобы понять, какие прошлые действия пользователя важны для предсказания следующего айтема. Ключевая мысль простая: не все предыдущие покупки одинаково полезны. Купил чехол для iPhone год назад — сомнительно, что это важно сейчас. Купил айфон вчера — совсем другое дело.

🧱 Из чего состоит SASRec

Разберём по шагам.

1️⃣ Embedding-слой

Каждый айтем Item_i кодируется в эмбеддинг размерности H, раскладывающийся на

• Item Embedding
• Positional Embedding (очень важно!)

Почему позиция важна? Потому что последовательности:

iPhone → Чехол и Чехол → iPhone — это вообще разные истории.

На выходе получаем тензор размера: U × D × H

2️⃣ Masked Self-Attention

SASRec использует causal masking, то есть при предсказании айтема на позиции t модель не видит будущие позиции t+1, t+2, ... Иначе был бы читинг. Self-attention отвечает на вопрос, на какие прошлые айтемы стоит обратить внимание, чтобы угадать следующий?

Формально — обычный Transformer Encoder:
• Multi-Head Attention
• Residual connections
• LayerNorm

Без энкодер-декодер истории, всё строго sequential.

3️⃣ Предсказание Next Item

Для каждой позиции t модель пытается предсказать айтем t+1.

На практике чаще всего:

• берем последнюю позицию
• сравниваем её эмбеддинг со всеми M айтемами
• считаем softmax или sampled softmax
• обучаемся максимизировать вероятность правильного следующего айтема.

🧊 Что с холодными пользователями?

SASRec спокойно работает с паддингами:

• паддинги маскируются
• attention их просто игнорирует

Но важно понимать: SASRec — это purely sequential модель. Что это значит?

Если у пользователя 0 или 1 действие, сигнал слабый.
Для совсем холодного старта чаще приходится:
• добавлять популярные айтемы
• комбинировать с non-personalized логикой

👍 Почему SASRec так популярен

✔ Простая и понятная архитектура
✔ Отлично ловит long-range зависимости (по крайней мере, так было в 2018 🤷‍♂️)
✔ Хорошо масштабируется на большое число айтемов

Не зря его до сих пор используют как точку отсчета почти во всех статьях про NIP.

👀 Ограничения, о которых важно помнить

✖ Нет bidirectional-контекста (в отличие от BERT4Rec)
✖ Не использует user features
✖ Плохо решает cold start без костылей
✖ Использует только позтивные действия в истории пользователя (в то время, как негативные действия могут быть полезны для понимания контекста, что отображено в статьях про Аргус). Так например, для онлайн-кинотеатра мы будем использовать только историю просмотра, хотя могли бы учитывать и те фильмы, от просмотра которых юзер отказался.

Но как первый серьезный Transformer для рекомендаций — это абсолютная классика

Изображение взято из статьи на Хабре

📕 Недавно ко мне пришел подписчик с вопросом: "А как мне вкатиться в ДС?". Одна из вещей, которые я рекомендую новичкам, — это участие в контестах, кейсах, хакатонах, митапах и конференциях. На предложенный вариант подписчик спросил: "А где искать актуальные соревы? Где можно найти перечень ближайших событий?"

В этом посте я хотел бы поделиться двумя источниками, в которые я и сейчас поглядываю, когда ищу соревы для необычного досуга. В славные годы бакалавриата я читал эти каналы чуть ли не каждый день в поиске интересных кейсов и сочных призовых.

🧑‍💻 Первый канал @iteventsrus . Это незаменимый источник вебинаров, конференций - и вообще всех интересных событий в нашей области. Периодически заглядываю сюда в поиске интересных митапов.

🤑 Второй — @hackathonsrus. Незаменимая база хакатонов, контестов и соревнований (в том числе по ML/DS/AI). Было время, когда ни один мой день не обходился без скроллинга сорев в этом канале.

Вобщем, рекомендую всем, кто ищет интересные события в области ИТ!