Недавно на канале Avito Team вышло интервью с Димой Бодуновым — руководителем аналитики Customer Decision (опыт покупателя, маркетинг, коммуникации, вот это всё). Дима мой руководитель, поэтому я не смог пройти мимо. Ведь Дима мой любимый руководитель, я счастлив работать под его началом.

Ладно, со мной всё понятно, но вам то зачем слушать его интервью? А вот:

✔️ Во-первых, хобби Димы довольно специфичны, интересно было о них узнать.

✔️Во-вторых, у него витиеватый карьерный путь. Наука, ритейл, консалтинг... При этом до Авито не было ни одного классического бигтеха. Сквозь всё интервью красной нитью проходит идея «фазовых переходов», которые переживал Дима, когда менял сферу деятельности или грейд. Я сам неоднократно проходил через подобное, поэтому тема мне очень откликнулась. Думаю, многим из вас тоже будет интересно. Более опытные сравнят ощущения со своими. А еще только планирующие стать аналитиками (или менеджерами) узнают, что их ждёт.

✔️В-третьих, в подкасте рассказывают про серьёзный факап, а про чужие ошибки всегда слушать интересно (как же я рад, что Дима выбрал факап не моей команды).

Интервью можно посмотреть на ютуб-канале AvitoTeam или послушать в ВК.

Всем привет! Сегодня расскажу про два подхода к коммуникации — top down и bottom up.

📎Top down — подход от общего к частному. Незаменимый помощник на любых встречах, где за малое время нужно донести коллегам, руководителям и топам компании суть проекта или задачи. Мы начинаем с главного: «Наша идея X приносит +5% к выручке». А дальше раскрываем: за счёт чего всё происходит, как мы посчитали или как к этому пришли. Объём объяснений зависит от доступного времени на встрече и вопросов аудитории.

📎Bottom up — объяснение от частного к общему. Отлично подходит, чтобы рассказать слушателям о новой важной теме, в которой нужно разобраться. В этом подходе мы поэтапно рассказываем о проблеме, что помогает собрать общую картинку. К таким коммуникациям можно отнести почти всё обучение или погружение коллеги в новый продукт. На выходе человек получит последовательные знания, которые потом сможет использовать в работе.

Что случится, если не обращать внимания на подход к коммуникации? Рассказывая топ-менеджеру о проекте, потратите всё время на детали, но потеряете главную мысль, с которой нужно уйти со встречи. А если студенты услышат про интегралы через топ-даун подход, они унесут мысль, что интегралы полезны и нужны. А вот дальше будет сложно выстроить структурный рассказ, чтобы ребята действительно овладели инструментом.

❤️ — чтобы вся коммуникация складывалась хорошо!

Привет! Ловите новый выпуск «Диванной аналитики» со Стешей Чупрыгиной, тимлидом команды Monetization Efficiency.

💗 Видео про сплит-тесты. Вы же знаете, что A/B подходит не всегда, вот мы и рассказали, как проводим сплит-тестирование новых алгоритмов ранжирования объявлений.

О чём рассказывает Стеша:

📢 как устроено монетизационное ранжирование на Авито,
📢 что такое автобиддинг,
📢 как сплит-тесты помогают нам улучшать алгоритмы.

Смотрите, где больше нравится:
➡️ Youtube
➡️ RuTube
➡️ VK Видео

Всем привет! На связи Армен из CRM. Сегодня поговорим о том, как не стоит учить менеджеров запускать А/Б-тесты.

Ежегодно мы в Авито запускаем около 6000 экспериментов, при этом 40% из которых связаны с CRM-коммуникациями. Чтобы держать такой темп, часть запуска и первичный разбор делают маркетологи. Поэтому в продвинутом курсе для буткемперов в ААА мы уделяем время отдельной лекции по CRM-экспериментам: методологии, дизайну, интерпретации и процессам. Подробнее про то, как мы проводим А/Б-тесты с рассылками, можно прочесть в статье.

А теперь — к вредным советам. Если хотите, чтобы эксперименты были невоспроизводимыми, а команда спорила дольше, чем шёл тест — действуйте так:

1️⃣Делайте вид, что А/Б — это кнопка.
Не объясняйте, что тест — это про корректный дизайн: как формируются группы, какое окно анализа берём, в каком разрезе смотрим метрики. Пусть каждый увидит свою истину в отчёте с метриками.

2️⃣Убирайте контекст метрик.
Не закрепляйте список целевых, прокси и контр-метрик. Пускай uplift интерпретируют по вдохновению: один смотрит на покупателей, другой — на клики, третий — на отписки, и все по-своему правы.

3️⃣Не уделяйте время математике.
Статистическая мощность, уровень значимости, множественные сравнения — «слишком академично». Всегда ведь найдётся аналитик, который вручную разбирает по три теста в день и объясняет, почему выводы противоречат друг другу.

4️⃣Шаблоны резолюций не нужны.
Пусть итоги теста пишут в свободной форме: без явной формулировки гипотезы, без фиксированного окна и разреза, без ссылок на конкретные отчёты. Поиск по истории экспериментов превратится в квест, а повторное использование знаний — в приключение.

5️⃣Избегайте сложных случаев.
Не обсуждайте ограничения в А/Б-тестах, не рассказывайте про каннибализацию метрик и долгосрочные эффекты. Лучше их не учитывать, ведь так проще принимать решения.

Аналитики, а что у вас встречается чаще?
🔥 — видели такие подходы вживую
❤️ — процесс А/Б-тестирования уже формализован и предсказуем

#АрменЕс

Привет, на связи Маша Новикова! Погода подталкивает на философские размышления о поиске баланса между двумя крайностями в работе аналитика 🤔 С одной стороны, аналитический паралич с бесконечными поисками идеального решения, с другой, — необходимость действовать в условиях неопределённости. Чем выше грейд, тем чаще нужно быстро принимать решения на неполных данных.

Но как отличить осознанное принятие риска от плохого анализа? Предлагаю 6 чек‑пойнтов для самопроверки аналитика:

1️⃣Чётко назвал пробелы. Могу перечислить недостающие данные и допущения в расчётах.

2️⃣Оценил «вес» риска. Прикинул вероятность и масштаб возможных последствий при неудачном запуске.

3️⃣Оценил ценность дополнительного времени. Что будет, если потратить ещё день, неделю или месяц на ресёрч и просчёт сценариев? Оправдан ли профит от этого времени?

4️⃣Понял срочность. Если нет дополнительного времени на проработку, то понятно, почему, и чем обосновано.

5️⃣Подготовил мониторинг и индикаторы ошибок. Записал гипотезы и признаки, по которым пойму, где и как ошибся при запуске.

6️⃣Получил обратную связь. Обсудил всё это с руководителем или продактом.

Пример из жизни
Нужно выбрать гипотезу для A/B‑теста, но данных мало.

❌ «Да ладно, попробуем» — это риск без понимания последствий. В результате потеря времени, ресурсов и неясные выводы. Тратим больше времени на анализ последствий, чем на подготовку к запуску.

✅ «Данных мало, но минимальные расчёты есть, срок и правда горит, но может спасти план по бюджету и потенциальный выигрыш по метрике x3, есть план Б в случае неудачи» — это осознанный риск. Даже при неудаче будут ясны причины, а мы получим новое знание о продукте и сможем держать ситуацию под контролем.

Ключевой вопрос перед решением
«Если через месяц это окажется ошибкой, смогу ли я чётко объяснить, почему так случилось?» Если ответ нет — стоит потратить ещё как минимум 15 минут на анализ 😁

Ставьте лайки, если зашло, и делитесь, как вы отличаете осознанный риск от «авось прокатит»?⬇️

#Новик

Привет! С вами Маша, и сегодня представляю Феликса Савченкова, senior аналитика в Pricing в Авито. Феликс пришёл в Авито из Skyeng, а до этого был преподавателем английского, предпринимателем, маляром и инженером-конструктором радиолокационной техники.


❓Как ты пришёл к аналитике?
В 2010 году мы с ребятами организовали консалтинговую компанию в области финансов,один из них умел писать скрипты на C++, подключался к данным и делал разные алгоритмы. Я заинтересовался и попросил научить меня кодить. Тема не пошла, но я вернулся к ней в 2017 году, когда смотрел блог ребят, которые открывают стартапы в Сан-Франциско. Вдохновился и прошёл курсы фронтенд-разработчика.

❓Какой путь в Авито?
В Авито я уже 2,5 года. Попал сразу на грейд middle, который соответствовал моим скилам. За это время у меня было три попытки перевестись на senior, но из-за загруженности, когда не успевал сделать ресёрч, смог только недавно это сделать.

❓У тебя интересные задачи в работе?
Да, я обожаю эту профессию. Я давно написал список качеств идеальной работы: «чтобы была техника и творчество, чтобы были люди, с которыми можно общаться и т. д.» И вот, через 10 лет я получил то, что тогда написал. У меня есть задачи, которые позволяют мне реализовывать предпринимательскую жилку: иди туда, не знаю куда, принеси то, не знаю что. И я пытаюсь «кристаллизовать» идею и принести её в реальный мир. Это очень прикольно.

❓Бывают скучные задачи?
Да, но я научился делать их нескучными. Я провожу что-то вроде медитации: сажусь, вытираю стол, кладу лист и пишу: «Скучная задача № 1», дата и план выполнения. Я медленно структурирую и описываю: что, зачем буду делать и в каком порядке. Если нужно писать код, создаю новую папочку с файлом, в котором описываю по шагам все действия. Такое состояние похоже на подметание: делаешь пол чище, а мир вокруг себя — лучше. Впадаешь в состояние создателя — укротителя хаоса.

❓Какое идеальное соотношение разных задач для тебя?
Для открытых задач не более 40%, так как они могут дезинтегрировать изнутри. Слишком открытые и длинные задачи вызывают фрустрацию. Чтобы не попасть в это состояние, надо разбавлять открытые задачи более понятными маленькими и менеджерскими делами.

На управление собственными ресурсами, процессами и переговорами с другими командами я бы хотел оставить 30%. И оставшиеся 30% — это методические, рутинные, правильные, дисциплинирующие задачи.

❓Расскажи о рабочих лайфхаках?
Лайфхак №1 — все идеи из головы переносить в физический мир. Например, я пишу идеи и рисую схемы на доске. Так формирую видение того, что буду делать дальше.

Лайфхак №2 — узнавать язык другого человека, чтобы понятно доносить ему информацию. Если передавать каждую мысль в мелких деталях, — есть риск, что её не поймут. Поэтому, если нужно рассказать что-то простым языком, так и надо делать. Это помогает поддерживать коммуникацию.

❓Расскажешь о первом рабочем провале?
Он произошёл в первый рабочий день в моей жизни. Я пришёл в конструкторское бюро, пытаюсь включить компьютер, а он не включается. Я подумал: «Все решат, что я глупый и не достоин этой работы». Но мой начальник начал решать задачу по-взрослому: сказал «1-й пункт: есть ли питание у компьютера?». Я проверил — а питания нет. Этот провал научил меня, что не нужно паниковать и действовать из позиции недостойности. Лучше думать о результате, а не об оценке других.

❓Какими достижениями ты гордишься?
Коллега, которого я онбордил в команду, стал самостоятельным мидлом. Это считаю успехом — это первый раз за всё время моей деятельности, когда у меня был кто-то, кого я обучал и наставлял. А дальше он сам взлетел, и это тоже классное ощущение.

❓Какой у тебя сейчас путь развития?
Хочу развиваться в софтах, чтобы лучше управлять долгосрочным планированием. Ещё хочу обрести навык, который я называю «хороводить людей», организуешь спецов из разных команд, чтобы решать локальные задачи длиной в месяц или квартал, рисуешь роадмап и т.д.

Из хардов я хочу автоматизировать рутинные задачи и заставить LLM работать предсказуемым образом, чтобы она давала стабильный результат.
#МашаЯр

Всем привет! Заказчики уже научились бесить аналитиков в моём предыдущем посте, но аналитики тоже не ангелы — давайте проверим, как часто мы грешим сами 😈
Даю 7 антисоветов для аналитиков.

1️⃣ Забудьте половину требований
Похихикайте и сошлитесь на свою «девичью память» (или старческий склероз — у кого что). Пусть заказчик напишет вам ещё несколько раз: частое общение — залог крепких отношений 😊

2️⃣ Задайте побольше несущественных вопросов
Минимум 100 — красивое число. Обязательно спросите каждую деталь, вплоть до HEX-кода цвета линий на графике и желаемые размеры в миллиметрах. Ни в коем случае не предлагайте что-то от себя — вдруг покажетесь навязчивым.

3️⃣ Но не спрашивайте, зачем нужна эта задача
Все детали мы уже выяснили, но какими-то глобальными вопросами заказчика не надо грузить — это уже перебор 🦆

4️⃣ Храните статус работы в секрете
Просто делайте, как чувствуете. Никаких синков и предварительных результатов, ничего не показывайте до конца — наверняка ваш заказчик любит сюрпризы.

5️⃣ Называйте сроки рандомно
Заказчик спросил, когда примерно будет готово? Ни в коем случае не тратьте время на оценку сроков — включите рандом, будьте непредсказуемым 🕺

6️⃣ Всё очевидное — очевидно
Объяснять термины и аббревиатуры глупо — если вы их знаете, значит, и другие знают. Не надо это писать в документации или описании к задаче: по-хорошему никакой документации вообще не нужно. Если у заказчика есть вопросы — пусть напишет вам, может он как раз соскучился😊

7️⃣ Не проверяйте работу перед отправкой
Поверьте, если заказчик получит файл «Финал», а потом «Финал_итог» — он будет счастлив.

Аналитики, честно признавайтесь — было?

❤️ — ни разу! (невероятно)
🔥 — пару раз грешил
💔 — да я вообще грешник, буду исправляться


#МашаАн

Привет! Меня зовут Миша Пирожков, и я принёс новый выпуск «Диванной аналитики». В нём я рассказываю о региональных тестах: как и зачем мы их используем.

Для наглядности: рассмотрим кейс с новым алгоритмом продвижения объявлений, где нам нужно оценить его эффективность. Проблема здесь в том, что тестовый алгоритм неявно вытесняет старое решение: из-за сетевого эффекта продавцы из контроля перестают пользоваться продвижением.

В докладе я показываю, как этого можно избежать.

На этом и других примерах также разбираю:
📍 Как работают региональные тесты и как устроен текущий инструмент для анализа — RegAB.
📍Почему решили улучшать текущий инструмент и как его усовершенствовали.
📍Как проверяли результаты и какие итоги получили.

Посмотрите, чтобы тоже научиться обходить сетевые эффекты в ваших тестах ⬇️

YouTube
RuTube
ВК Видео

Привет! Я Женя, acting Team Lead в монетизации, и сегодня поделюсь кейсами «что пошло не так в A/B-тесте», которые собирала для пар по тестированиям в Вышке.

Кажется, АБ-тесты супер просты: на две группы поделили, результат сравнили, выбрали опцию, где больше основная метрика. Так почему столько аналитиков тратят столько времени на A/B-тесты?

Ловите кейсы из практики. Рекомендую сначала поразгонять, а потом открывать спойлер 🤓

1️⃣Проводили обратный A/B-тест (откатили существующую фичу) с задачей — не увидеть прокрасы выручки. Подготовили мониторинги, запустили тест, прокрасов не обнаружили. Через месяц тест перезапустили. Что могло случиться?

Ответ: не увидели прокрасов, потому что тест не запустили из-за баги 🫠

2️⃣Запустили A/B-тест, на третий день заметили, что выручка в тестовой группе падает в 2 раза. Куда копать?

Ответ: Старт теста сломал разметку сегмента, на котором он запускался, и часть тестовой аудитории оказалась в другом сегменте, вне мониторинга. На самом деле выручка не пострадала. В продукте сложно придумать продуктовое изменение, которое так сильно скажется на выручке, даже если очень стараться :) Раз падение настолько большое — 95% шанса, что это баг или другая техническая особенность, но не продуктовая.

3️⃣ Тестировали новую фичу. Чтобы увидеть изменения, нужно обновить версию приложения на iOS. Мы предложили это пользователям и отнесли в тестовую группу тех, кто обновился, потому что только они увидели изменения. В контроле была вся аудитория, которую сплиттер определил в контроль. Что мы делали не так?

Ответ: На обновление соглашались более лояльные пользователи, открытые к нашим новинкам, а не общая совокупность. Так, результаты в тесте были сильно завышены.

❤️ — кейсов много, лайк для второй части!

#ЖеняМур

Привет! С вами Алина Савельева — тимлид команды монетизации. Хочу показать вам свежий выпуск «Диванной аналитики». В нём рассказываю, что делать, если не получается подобрать метод для тестирования гипотез. Если кратко: сравнивать похожих пользователей, но не напрямую. А чтобы узнать детали, посмотрите видео.

Вот, о чём там говорю:
➡️ Почему нельзя всегда использовать A/B-тесты.
➡️ Что такое фреймворк матчинга и как мы его используем.
➡️ Как валидировать любые фреймворк для оценки гипотез.

Смотрите где удобно:
YouTube
RuTube
ВК Видео

Всем привет!
Я Женя, и неделю назад рассказывала про кейсы, где в A/B-тестах что-то пошло не так. Мы собрали лайки, и я возвращаюсь со второй частью!

Знакомьтесь, новая парочка детективных случаев:

1️⃣Собрали в 6 вечера костыль, чтобы запустить тест и не откладывать на завтра. В 8 вечера звонит телефон: «Вы сломали сайт!» 😳

Ответ: Костыль не костылил 🤓 Мы никого не предупредили. А ещё есть примета: запускать тесты вечером — к работе ночью.


2️⃣Во время теста узнаём, что другая команда запустила свой тест на наш контроль, на вариацию не запустила. Могло ли это помешать нам?

Ответ: Да, тест оказался успешным, и контроль был сильно лучше на фоне тестовой категории, поскольку 50% от контроля начало приносить на 20% больше выручки. А мы в это время долго не могли понять, почему у нас тест так сильно проигрывает контролю. 🤔

Поделитесь своими кейсами, как решали странности при анализе или по ходу эксперимента 👩🏼‍💻

#ЖеняМур