🥤 Как данные меняют жизнь и продукт

Тем временем у подкаста «Потом доделаю» вышел новый выпуск! Его гостем стал Роман Халкечев, руководитель аналитики Яндекс Поиска и Рекламы. Получился очень живой и интересный разговор со множеством инсайтов: кое-какими делимся ниже.

🈂️ Data-driven-подход — это не только про числа

Классный аналитик знает, как презентовать выводы, которые у него получились. Не нужно заставлять дизайнеров или разработчиков продираться сквозь горы данных: нужно правильно донести смысл, который кроется за этими цифрами, и выдать конкретные action items на основе ваших общих целей.

В Яндексе мы стараемся принимать все решения на основе data-driven-подхода. У нас в компании всем понятна ценность аналитики, это важный драйвер бизнеса.

🈂️ Данных (почти) всегда недостаточно

Аналитик постоянно находится в ситуации, когда времени и информации не хватает, но решение принять нужно. И если у него никак не получается это сделать, начинается аналитический паралич: давайте посчитаем ещё вот это, проведём дополнительный эксперимент, дадим пользователям новую кнопку…

Одна из главных задач аналитика — увидеть этот момент, взять на себя риски и принять решение.

🈂️ Самый сложный собеседник для аналитика — это бывший аналитик, который стал продактом

Часто такие ребята просят не выводы, а «просто числа», чтобы проанализировать их самостоятельно. В этот момент теряется ценность аналитика как профессионала и искажается суть его работы. Мы ведь не просто интерфейс к данным. В противном случае зачем это всё?

📺 Также в выпуске: нетипичное поведение пользователей, влияние AI на рабочие условия и советы по развитию в новом контексте. Смотрите на платформах:

🔵 VK Видео
🔵 Ютуб
🔵 Рутуб
🔵 Mave

Подписывайтесь:
💬 @Yandex4Analytics

✉️ Приглашаем на дружеский митап аналитиков

Если вы работаете с данными, владеете Python и у вас от 3 лет опыта — приходите в штаб-квартиру Яндекса 25 октября! Ребята из Yandex Crowd и команды информационной безопасности расскажут, над чем сейчас работают и в чём состоит специфика их профессий.

В программе шесть выступлений:

🔵 Андрей Молотов, руководитель аналитики и данных Yandex Crowd, раскроет внутреннее устройство и принципы работы аналитической команды

🔵 Екатерина Нешатаева, руководитель службы аналитики Yandex Crowd. Покажет, с какими задачами сталкивается команда

🔵 Дарья Шатько, руководитель службы Yandex Crowd ML. Объяснит, как ребята автоматизируют краудсорс

🔵 Андрей Будилов, руководитель Антифрода. Покажет, как защищать сервисы и пользователей от мошенничества, накруток и спама

🔵 Ислам Умаров, руководитель группы универсального антифрода. Расскажет, как построить ML‑детекцию фрода в UGC

🔵 Григорий Сафьянов, ведущий аналитик-разработчик. Прочитает доклад про Антиробота и особенности задач онлайн-классификации

🗳 После докладов проведём диагностику навыков аналитики и математической статистики. Если пройдёте успешно, то в ближайшие два года засчитаем ваш результат как техническую секцию при собесе в Яндекс 😎

⏬ Регистрируйтесь по ссылке

Подписывайтесь:
💬 @Yandex4Analytics

🧑‍💻 Как мы прокачали контроль качества поддержки с помощью LLM

Меня зовут Дарья Шатько, я руководитель ML-группы в Yandex Crowd. Сегодня я расскажу, как мы с моим коллегой Антоном Удаловым внедряли большие языковые модели в контроль качества клиентской поддержки.

Нашей задачей было автоматизировать проверку 4,5 миллиона диалогов поддержки в месяц. Ручной контроль покрывал лишь 3% из них. При такой выборке редкие, но критические ошибки могли попадаться всего пару раз за несколько месяцев. И системно работать над ними было невозможно.

🈂️ Что мы пробовали до внедрения AI

Мы начинали с использования регулярных выражений. Они помогали нам отлавливать по-настоящему грубые ошибки, но всё, что сложнее стоп-слов и категорий, становилось для них непосильной задачей.

На следующем этапе мы протестировали иерархические модели и классификаторы на основе архитектуры BERT. Однако ключевым ограничением стало недостаточное количество данных для редких классов ошибок. Это не позволило нам достичь на тестах значения macro-F1 выше 65%.

🈂️ Какие сложности нас поджидали в начале работы с LLM

Мы собрали один комплексный промпт, который включал полный текст диалога и список из 20 критериев оценки модели. А для повышения точности мы дополнили его few-shot-примерами. Но… упёрлись в лимит контекста, а система породила волну ложных срабатываний.

В итоге LLM потеряла способность к обобщению и начала классифицировать только те ошибки, которые точно соответствовали предоставленным шаблонам.

🈂️ Что нам помогло сделать всё правильно

🔵 Golden-датасет с ручной проверкой и трёхбалльной оценкой работы модели

🔵 Отказ от монструозного промпта в пользу многоступенчатого LLM-flow

🔵 Версионирование промптов и превращение обычного текста в тестируемый артефакт

🔵 LLM-as-a-judge для ускорения оценки гипотез с порогом уверенности 85%

Сейчас наш пайплайн закрывает ≈50% проверок в почтовом и чатовом каналах клиентской поддержки, а у руководителей появилось больше информации, где и у каких операторов возникают трудности. Это позволяет дорабатывать обучения и инструкции по работе с продуктами.

⏬ А полную статью с архитектурой, промптами и выводами читайте на Хабре.

Подписывайтесь:
💬 @Yandex4Analytics

🏆 Yandex Cup: увидимся в Стамбуле

Хотите посмотреть на Босфор, прогуляться по узким улочкам Стамбула и погладить котиков? Тогда оставляйте заявку на Yandex Cup до 29 октября. Финал пройдёт в декабре — организаторы запланировали не только соревнование, но и культурную программу: экскурсии, прогулки по городу и закаты над проливом.

🈂️ О соревновании

Yandex Cup — это соревнование для разработчиков с призовым фондом 12 миллионов рублей. Участники выбирают одно из шести направлений: «Бэкенд», «Алгоритм», «Мобильная разработка», «Фронтенд», «Аналитика» или «Машинное обучение».

Задачи требуют уверенного владения Python и SQL, понимания теории вероятностей и статистики. Участникам предстоит формулировать гипотезы и проверять их статистически, конструировать метрики, разрабатывать и реализовывать алгоритмы анализа данных, писать код на Python и SQL, а там, где это оправдано, подключать элементы машинного обучения.

Аналитик работает как огранщик. Из необработанного массива данных делает точный инструмент для решения задачи: убирает лишнее, формулирует гипотезы, проверяет их и получает выводы, на которые можно опереться.

🈂️ Как попасть в финал

Нужно зарегистрироваться до 29 октября и пройти 2 ноября обязательный онлайн-этап — квалификацию.

🈂️ Финал

Пройдёт 5–7 декабря в тематике Codecraft. Участники будут решать задачи, вдохновлённые турецким крафтом — от каллиграфии до ювелирного дела.

⏬ Регистрируйтесь и встретимся в Стамбуле.

Подписывайтесь:
💬 @Yandex4Analytics

🗺️ Atlas для Яндекса: анализируем ураганы и концерты «Руки вверх»

Привет! Меня зовут Анна Крючкова, я руковожу службой аналитических платформ в Яндекс Go. Сегодня расскажу вам про одну из наших ключевых систем — SaaS-платформу Atlas. Она помогает нашим аналитикам визуализировать данные, находить и проверять гипотезы и оперативно делиться инсайтами.

Что умеет Atlas

🔵 Раскрашивать метрики на карте по их интенсивности в конкретной геолокации, работать с показателями в реальном времени, создавать интерактивные дашборды и мониторить ход тестов.

🔵 А ещё выделять нужные зоны на карте для детального изучения, сравнивать периоды и накладывать метрики друг на друга.

🔢 В общем, это настоящий аналитический комбайн.

🧑‍💻 За время работы вокруг системы накопилось много интересных кейсов. На платформе мы наблюдали за ураганом «Орхан» в Москве, сигналили водителям о концертах и смотрели, какой тариф чаще всего выбирают на Патриках.

⏬ Про эти и другие истории читайте в полной статье на Хабре. Внутри собрали наглядные примеры работы Atlas.

💡 К слову, платформа может пригодиться и вам: в логистике, финтехе, телекоме, ретейле, где важна гео- и реалтайм-визуализация.

Подписывайтесь:
💬 @Yandex4Analytics

⏬ 5 билетов, 4 часа, 3 задачи…

В преддверии Матемаркетинга мы устроили соревнование, в котором аналитики решали задачки на время. Пришло время узнать имена тех, кто справился с этим на отлично и получил от нас билет на конференцию в подарок.

🧑‍💻 Первые пять аналитиков, которые решили задачки быстрее всех:

🔵 Владимир Солоха, ФТИ им. А.Ф. Иоффе
🔵 Сергей Лукьянов
🔵 Любовь Шувалова, Газпромбанк
🔵 Анна Першина, Avito Tech
🔵 Елена Филатова, МТС

Поздравляем победителей! И будем рады познакомиться вживую уже 20 и 21 ноября! Проверяйте почту, награда ждёт вас там 🎁

✨ А ещё скоро поделимся с вами, что мы готовим для гостей на конференции. Stay tuned!

💠 Увидимся на Матемаркетинге

Подписывайтесь:
💬 @Yandex4Analytics

⏬ Скорость или стоимость? Вот в чём вопрос

Рободоставка — это не только про крутое железо и искусственный интеллект. На деле это сложная система, где технологии, метрики и операции должны работать как часы.

Меня зовут Влад Немиро, я руководитель аналитики рободоставки Яндекса. И на конференции Data Driven 2025 я рассказывал, как мы управляем этим сложным сервисом и считаем, что выгодно бизнесу: сделать доставку быстрее или дешевле.

🤖 Три кита рободоставки

🔵 Технологии

Комплекс сенсоров, моторов, систем AI для навигации и планирования маршрутов. Одна из метрик данного направления — точность предсказания времени прибытия.

🔵 Продукт

Это опыт пользователя. Мы смотрим, как часто люди выбирают робота вместо курьера и требуется ли им помощь службы поддержки.

🔵 Операции

В эту часть входят удалённые операторы, которые помогают роботу в сложных ситуациях, логистика и ремонт.

Все эти компоненты связаны. И мы должны управлять ими как единой системой.

📖 Дерево метрик и искусство размена

Не бывает так, чтобы всё стало одновременно и лучше, и дешевле. Вся суть управления — в поиске баланса.

Мы можем сделать доставку быстрее, выбрав более короткий, но сложный маршрут. Но на этом маршруте робот будет чаще звать на помощь оператора. В итоге:

➕ Скорость вырастет, пользователи будут довольны

➖ Увеличится нагрузка на операторов, а значит, стоимость доставки станет выше

Именно поэтому мы построили дерево метрик, которое связывает наши бизнес-показатели (например, себестоимость заказа) с метриками каждого маленького компонента. Это помогает нам принимать решения. Например, сегодня бизнесу выгоднее вложиться в скорость и привлечь больше клиентов, а завтра — в экономию и снизить операционные издержки.

Чтобы принять то или иное решение, мы задаём себе вопросы:

🔵 Что мешает бизнесу расти больше всего? Если не хватает пользователей — фокусируемся на продуктовых метриках (точность ETA, удобство). Если бизнес упирается в высокую стоимость — оптимизируем операции и технологии

🔵 Достаточно ли мы уже улучшили? Не нужно делать идеальный алгоритм, если дальнейшие улучшения незначительно влияют на общий рост. Мы ищем точку, где 20% усилий дают 80% результата, и идём дальше

📺 А все подробности ищите в записи моего доклада на ютубе или в VK Видео на Data Driven 2025

🗳 Кстати, мы уже планируем программу конференции Data Driven на следующий год. Если вы хотите стать участником — подпишитесь на новости. И мы отправим вам письмо, когда откроется регистрация.

Подписывайтесь:
💬 @Yandex4Analytics