📆 Save the date: 30 октября идём на Яндекс Analytics Talks Meetup

Аналитики Городских сервисов Яндекса покажут, как эффективно использовать данные и искать точки роста продуктов. В программе:

🔵 Катя Семакова из Яндекс Go расскажет, как мы с нуля запустили новый продукт для водителей, и поделится опытом прохождения пути от идеи до product-market fit
🔵 Максим Левшин из Яндекс Маркета объяснит, как команде удалось создать модель, которая точно прогнозирует бизнес-эффект от сбора отзывов на маркетплейсе
🔵 Руководители DWH Городских сервисов Яндекса обсудят, есть ли реальная польза от LLM и GenAI в DWH и аналитике или это всё только хайп

💠 А ещё вас ждёт настольная игра Atlas от Яндекс Go, афтерпати и нетворкинг.

♾ 30 октября, сбор гостей с 18:00
♾ Москва, офлайн

⏬ Регистрируйтесь по ссылке.

Мероприятие бесплатное. Количество мест ограничено — пожалуйста, дождитесь нашего подтверждения.

Подписывайтесь:
💬 @Yandex4Analytics

🧑‍💻 Новая задача: в этот раз предлагаем подумать над бизнес-кейсом

Это будет история со счастливым концом: у нашего кейса есть правильное решение (и не одно)! Справитесь?

Представьте, что вы аналитик в интернет-магазине. Ваша команда обновила текстовые описания товаров на сайте — теоретически так они должны стать более информативными и привлекательными.

Ваше руководство хочет понять, действительно ли новые описания лучше прежних. Какие данные и подходы к их обработке вы бы предложили использовать, чтобы найти и обосновать ответ на этот вопрос?

🐚 Опубликовали правильный ответ с разбором. Но если вы видите задачу в первый раз, поделитесь своим решением в комментариях!

#задачи_для_аналитиков

Подписывайтесь:
💬 @Yandex4Analytics

🧑‍💻 Что делает решение бизнес-кейса действительно data driven? Публикуем ответ на новую задачу

Декомпозируем задачу и порассуждаем.

🈂️ Первое, с чем важно определиться: какую метрику мы оптимизируем?

Чтобы ответить на этот вопрос, сначала поймём, зачем вообще на карточке товара текстовое описание.

♾ Гипотез может быть много. Например, такие:

• Упростить и ускорить для покупателя принятие решения: «Этот товар — то, что мне нужно».
• Предотвратить лишние вопросы и снять возражения: «Я всё понял, можно покупать».
• Сформировать адекватные ожидания от товара и снизить вероятность возврата: «Товар такой же, каким я представлял его себе».

🈂️ Следующий вопрос: что будет лучше для бизнеса?

• Заработать больше денег.
• Снизить нагрузку на поддержку.
• Уменьшить возвраты.

🈂️ Теперь спросим себя, на что может повлиять новый текст.

• Конверсия «просмотр карточки → добавление в корзину».
• Конверсия «просмотр карточки → покупка».
• Средний чек (если описание замотивирует покупателя взять дополнительные аксессуары).
• Количество возвратов.
• Время, потраченное на изучение карточки.
• Количество обращений в поддержку по этому товару.

🈂️ Разберёмся, какая из метрик всё-таки ключевая:

• Только конверсия в покупку? Иногда да. Но если, например, оборот вырос вместе с возвратами — нет, это ухудшение, а не улучшение.
• Вовлечённость? Она может увеличиться из-за запутанности текста: пользователь будет дольше читать, а купить так и не решится.
• Обращения в поддержку? Важный сигнал, но не единственный.

Лучше всего сосредоточиться на целевой метрике, которая учитывает основной бизнес-результат и нежелательные побочные эффекты. В большинстве случаев это конверсия в покупку или же совокупный доход (GMV) с карточки. При этом дополнительно отслеживаем:

• Долю возвратов и отмен — чтобы показатели не ухудшились.
• Изменения в количестве обращений: не стало ли у пользователей больше непонимания?
• Вторичные эффекты — средний чек, сопутствующие продажи.

🔵 Вывод: главная метрика — конверсия из просмотра карточки в покупку или суммарный доход на просмотр карточки. Но важны и другие показатели: не выросли ли возвраты, не стало ли больше претензий к товару, не ухудшилась ли обратная связь от пользователей.

Если же компания, например, ориентирована на поддержку продукта, то метрикой успеха может стать ещё и снижение количества обращений к техническим специалистам.

⏬ Совет. Чаще всего для бизнес-кейсов невозможно сформулировать универсальный ответ. На выбор метрики сильно влияет контекст бизнеса. Узнайте о нём побольше, прежде чем предлагать метрики.

🐚 Какие метрики важнее всего для вашего бизнеса? Делитесь в комментариях тем, что подсказывают вам опыт и сердце!

💠 Это была последняя задача в нашей небольшой серии. Если вам понравилось их решать, ставьте лайк, и мы будем публиковать подобные задачи регулярно!

Подписывайтесь:
💬 @Yandex4Analytics

💠 4 часа, 3 задачи и 5 билетов на Матемаркетинг

20 и 21 ноября в Москве пройдёт самая крупная конференция для аналитиков — Матемаркетинг. Мы уже начали подготовку к встрече с вами: готовим доклады, интересные дискуссии, квиз и не только!

💎 А ещё решили разыграть 5 билетов на конференцию. Чтобы получить один из них, нужно решить 3 задачи, которые близки каждому аналитику:

🔵 Задача по основам математической статистики и теории вероятностей
🔵 Аналитическая задача на Python
🔵 Кейс из продуктовой аналитики

Как пройдёт розыгрыш:

⏬ Регистрируйтесь для участия в форме до 22 октября.

🔵 До 24 октября мы направим участникам на почту письмо, в котором будет ссылка на доступ к соревнованию.

🔵 25 октября будет открыт доступ к задачам, приступить к решению можно будет в интервале с 10:00 до 12:00 по московскому времени.

Вам предстоит решить 3 задачи за 4 часа, отсчёт времени начнётся с момента вашего старта. По прошествию 4 часов доступ будет автоматически закрыт, а мы уйдём подсчитывать результаты.

📆 А уже 30 октября мы свяжемся с победителями и опубликуем результаты в нашем телеграм-канале Yandex for Analytics.

🎁 Билеты получат те, кто быстрее всех решит задачи верно.

Важно: билеты на конференцию именные, их нельзя передать третьему лицу. Для участия необходимо иметь почту с доменом Яндекса.

⏬ Регистрируйтесь для участия в розыгрыше и до встречи на Матемаркетинге!

Подписывайтесь:
💬 @Yandex4Analytics

🥤 Как данные меняют жизнь и продукт

Тем временем у подкаста «Потом доделаю» вышел новый выпуск! Его гостем стал Роман Халкечев, руководитель аналитики Яндекс Поиска и Рекламы. Получился очень живой и интересный разговор со множеством инсайтов: кое-какими делимся ниже.

🈂️ Data-driven-подход — это не только про числа

Классный аналитик знает, как презентовать выводы, которые у него получились. Не нужно заставлять дизайнеров или разработчиков продираться сквозь горы данных: нужно правильно донести смысл, который кроется за этими цифрами, и выдать конкретные action items на основе ваших общих целей.

В Яндексе мы стараемся принимать все решения на основе data-driven-подхода. У нас в компании всем понятна ценность аналитики, это важный драйвер бизнеса.

🈂️ Данных (почти) всегда недостаточно

Аналитик постоянно находится в ситуации, когда времени и информации не хватает, но решение принять нужно. И если у него никак не получается это сделать, начинается аналитический паралич: давайте посчитаем ещё вот это, проведём дополнительный эксперимент, дадим пользователям новую кнопку…

Одна из главных задач аналитика — увидеть этот момент, взять на себя риски и принять решение.

🈂️ Самый сложный собеседник для аналитика — это бывший аналитик, который стал продактом

Часто такие ребята просят не выводы, а «просто числа», чтобы проанализировать их самостоятельно. В этот момент теряется ценность аналитика как профессионала и искажается суть его работы. Мы ведь не просто интерфейс к данным. В противном случае зачем это всё?

📺 Также в выпуске: нетипичное поведение пользователей, влияние AI на рабочие условия и советы по развитию в новом контексте. Смотрите на платформах:

🔵 VK Видео
🔵 Ютуб
🔵 Рутуб
🔵 Mave

Подписывайтесь:
💬 @Yandex4Analytics

✉️ Приглашаем на дружеский митап аналитиков

Если вы работаете с данными, владеете Python и у вас от 3 лет опыта — приходите в штаб-квартиру Яндекса 25 октября! Ребята из Yandex Crowd и команды информационной безопасности расскажут, над чем сейчас работают и в чём состоит специфика их профессий.

В программе шесть выступлений:

🔵 Андрей Молотов, руководитель аналитики и данных Yandex Crowd, раскроет внутреннее устройство и принципы работы аналитической команды

🔵 Екатерина Нешатаева, руководитель службы аналитики Yandex Crowd. Покажет, с какими задачами сталкивается команда

🔵 Дарья Шатько, руководитель службы Yandex Crowd ML. Объяснит, как ребята автоматизируют краудсорс

🔵 Андрей Будилов, руководитель Антифрода. Покажет, как защищать сервисы и пользователей от мошенничества, накруток и спама

🔵 Ислам Умаров, руководитель группы универсального антифрода. Расскажет, как построить ML‑детекцию фрода в UGC

🔵 Григорий Сафьянов, ведущий аналитик-разработчик. Прочитает доклад про Антиробота и особенности задач онлайн-классификации

🗳 После докладов проведём диагностику навыков аналитики и математической статистики. Если пройдёте успешно, то в ближайшие два года засчитаем ваш результат как техническую секцию при собесе в Яндекс 😎

⏬ Регистрируйтесь по ссылке

Подписывайтесь:
💬 @Yandex4Analytics

🧑‍💻 Как мы прокачали контроль качества поддержки с помощью LLM

Меня зовут Дарья Шатько, я руководитель ML-группы в Yandex Crowd. Сегодня я расскажу, как мы с моим коллегой Антоном Удаловым внедряли большие языковые модели в контроль качества клиентской поддержки.

Нашей задачей было автоматизировать проверку 4,5 миллиона диалогов поддержки в месяц. Ручной контроль покрывал лишь 3% из них. При такой выборке редкие, но критические ошибки могли попадаться всего пару раз за несколько месяцев. И системно работать над ними было невозможно.

🈂️ Что мы пробовали до внедрения AI

Мы начинали с использования регулярных выражений. Они помогали нам отлавливать по-настоящему грубые ошибки, но всё, что сложнее стоп-слов и категорий, становилось для них непосильной задачей.

На следующем этапе мы протестировали иерархические модели и классификаторы на основе архитектуры BERT. Однако ключевым ограничением стало недостаточное количество данных для редких классов ошибок. Это не позволило нам достичь на тестах значения macro-F1 выше 65%.

🈂️ Какие сложности нас поджидали в начале работы с LLM

Мы собрали один комплексный промпт, который включал полный текст диалога и список из 20 критериев оценки модели. А для повышения точности мы дополнили его few-shot-примерами. Но… упёрлись в лимит контекста, а система породила волну ложных срабатываний.

В итоге LLM потеряла способность к обобщению и начала классифицировать только те ошибки, которые точно соответствовали предоставленным шаблонам.

🈂️ Что нам помогло сделать всё правильно

🔵 Golden-датасет с ручной проверкой и трёхбалльной оценкой работы модели

🔵 Отказ от монструозного промпта в пользу многоступенчатого LLM-flow

🔵 Версионирование промптов и превращение обычного текста в тестируемый артефакт

🔵 LLM-as-a-judge для ускорения оценки гипотез с порогом уверенности 85%

Сейчас наш пайплайн закрывает ≈50% проверок в почтовом и чатовом каналах клиентской поддержки, а у руководителей появилось больше информации, где и у каких операторов возникают трудности. Это позволяет дорабатывать обучения и инструкции по работе с продуктами.

⏬ А полную статью с архитектурой, промптами и выводами читайте на Хабре.

Подписывайтесь:
💬 @Yandex4Analytics