Привет! Это Таня, и сегодня я подготовила бинго аналитика с ситуациями, которые знакомы многим из нас.
Делайте скриншот, заполняйте бинго и скидывайте в комментарии — я своё уже прикрепила.
Ставьте реакции, сколько пунктов у вас совпало:
🐳 1–5 — у меня всё впереди
😎 6–10 — я уже опытный аналитик
🗿 11–15 — я всё повидал и меня уже ничем не удивить
#Таня
Делайте скриншот, заполняйте бинго и скидывайте в комментарии — я своё уже прикрепила.
Ставьте реакции, сколько пунктов у вас совпало:
🐳 1–5 — у меня всё впереди
😎 6–10 — я уже опытный аналитик
🗿 11–15 — я всё повидал и меня уже ничем не удивить
#Таня
🗿35😎22🐳15❤8👎5🌚1
Презентация результата
👋 Привет! С вами Женя, преподаватель ААА. На прошлой неделе я проводила занятие о презентации результата работы для наших студентов. Сегодня хочу поделиться небольшой частью.
Презентация результата исследования или эксперимента — это отдельный скил. Нужно ёмко описывать, что получил за дни, недели или целый месяц работы.
Собрать основную информацию поможет фреймворк What → So what → Now what.
✔️ What — факт, что произошло.
✔️ So what — как этот факт влияет на наши знания или на нас.
✔️ Now what — как новая информация повлияет на наши действия.
What. Проводили эксперимент: изменили флоу подачи заявки и получили зелёные результаты.
So what. Добавление геймификации на флоу повысило мотивацию пользователя заполнить форму до конца, и наша конверсия выросла.
Now what. Будем масштабировать эксперимент.
Этот фреймворк — хороший помощник, если труды большой работы нужно собрать в рассказ на демо или шапку вашего исследования.
❤️ — если полезно и хотите серию постов про презентацию результата.
#ЖеняМур
👋 Привет! С вами Женя, преподаватель ААА. На прошлой неделе я проводила занятие о презентации результата работы для наших студентов. Сегодня хочу поделиться небольшой частью.
Презентация результата исследования или эксперимента — это отдельный скил. Нужно ёмко описывать, что получил за дни, недели или целый месяц работы.
Собрать основную информацию поможет фреймворк What → So what → Now what.
✔️ What — факт, что произошло.
✔️ So what — как этот факт влияет на наши знания или на нас.
✔️ Now what — как новая информация повлияет на наши действия.
What. Проводили эксперимент: изменили флоу подачи заявки и получили зелёные результаты.
So what. Добавление геймификации на флоу повысило мотивацию пользователя заполнить форму до конца, и наша конверсия выросла.
Now what. Будем масштабировать эксперимент.
Этот фреймворк — хороший помощник, если труды большой работы нужно собрать в рассказ на демо или шапку вашего исследования.
❤️ — если полезно и хотите серию постов про презентацию результата.
#ЖеняМур
❤58🔥8😍2🦄2😴1
👋 Привет! На связи Армен, старший аналитик в CRM. Недавно словил дежавю: менеджерам нужны «цифры к вечеру и решение», а мне — понимание, почему это вообще работает. Аналитики любят смыслы, консистентность и причинно-следственные цепочки. Менеджеры — рост метрик, желательно быстро. Сегодня делюсь своими мыслями, как аналитику разрешать такие противоречия.
Представим бегуна-марафонца, который то ускоряется, то сбавляет темп, подстраиваясь под рельеф и дистанцию. Также и аналитик: в работе мы постоянно переключаемся между быстрым и глубоким темпами. И от того, насколько осознанно мы это делаем, зависит и скорость, и качество решений.
🏃 Первый темп — быстрый
Цель — снять неопределённость и помочь команде быстро принять решение «идём или не идём». Такие задачи часто выглядит как классический адхок — «выгрузи», «прикинь». Но при правильной постановке и параллельном переходе к глубокому анализу задача может стать вкладом в стратегию, а не бессмысленным подсчётом.
Быстрый темп — это реакция на срочность, когда от аналитика ждут скорости, а не полного исследования. Здесь важны ясные допущения, чёткие границы уверенности и умение быстро показать, что реально изменится в бизнесе.
Главный риск — застрять в этом темпе навсегда. Если всё время бежать быстро, но не в ту сторону, до финиша мы не добежим.
🏋️ Второй темп — глубокий
Цель — подтвердить или опровергнуть гипотезу без костылей, понять причинность, подготовить масштабирование и автоматизацию. Такие задачи становятся частью стратегии аналитики и позволяют принимать решения, которые могут кардинально менять продукт.
Глубокий темп — это не «медленно». Это осмысленно: план, последовательность гипотез, эксперименты, автоматизация. Глубокий темп помогает ускорить развитие, потому что создаёт базу для будущих быстрых решений. Когда данные стабильны, эксперименты воспроизводимы, а метрики определены однозначно — скорость принятия решений в будущем растёт сама собой.
Аналитику важно понять, в какой момент переключиться, чтобы сберечь нервы и силы.
Если ошибка дешёвая, а бизнес ждёт решения сейчас — выбираем быстрый.
Если видим системную закономерность или крупный эффект — включаем глубокий.
💬 Как объяснить эту логику команде?
Вот мой личный пример сообщения менеджеру:
«Собрал быстрый срез по [фиче]: основной драйвер — [метрика/сегмент]. При допущениях A/B ожидаем +X% к [целевой метрике] за N дней. Риск — [R]. Предлагаю: сегодня — вариант A (контролируем через [А/Б]). Параллельно нужно сделать глубокий разбор по риску R, результаты — к [дата]».
Такой подход помогает менеджеру понимать, что аналитик работает и в моменте, и на перспективу.
Желаю всем добегать марафоны! Если бы пришлось выбирать, ставьте:
🤓 — если вы за смысл,
⚡ — если за скорость,
💡 — свой вариант в комментариях.
#АрменЕс
Представим бегуна-марафонца, который то ускоряется, то сбавляет темп, подстраиваясь под рельеф и дистанцию. Также и аналитик: в работе мы постоянно переключаемся между быстрым и глубоким темпами. И от того, насколько осознанно мы это делаем, зависит и скорость, и качество решений.
🏃 Первый темп — быстрый
Цель — снять неопределённость и помочь команде быстро принять решение «идём или не идём». Такие задачи часто выглядит как классический адхок — «выгрузи», «прикинь». Но при правильной постановке и параллельном переходе к глубокому анализу задача может стать вкладом в стратегию, а не бессмысленным подсчётом.
Быстрый темп — это реакция на срочность, когда от аналитика ждут скорости, а не полного исследования. Здесь важны ясные допущения, чёткие границы уверенности и умение быстро показать, что реально изменится в бизнесе.
Главный риск — застрять в этом темпе навсегда. Если всё время бежать быстро, но не в ту сторону, до финиша мы не добежим.
🏋️ Второй темп — глубокий
Цель — подтвердить или опровергнуть гипотезу без костылей, понять причинность, подготовить масштабирование и автоматизацию. Такие задачи становятся частью стратегии аналитики и позволяют принимать решения, которые могут кардинально менять продукт.
Глубокий темп — это не «медленно». Это осмысленно: план, последовательность гипотез, эксперименты, автоматизация. Глубокий темп помогает ускорить развитие, потому что создаёт базу для будущих быстрых решений. Когда данные стабильны, эксперименты воспроизводимы, а метрики определены однозначно — скорость принятия решений в будущем растёт сама собой.
Аналитику важно понять, в какой момент переключиться, чтобы сберечь нервы и силы.
Если ошибка дешёвая, а бизнес ждёт решения сейчас — выбираем быстрый.
Если видим системную закономерность или крупный эффект — включаем глубокий.
💬 Как объяснить эту логику команде?
Вот мой личный пример сообщения менеджеру:
«Собрал быстрый срез по [фиче]: основной драйвер — [метрика/сегмент]. При допущениях A/B ожидаем +X% к [целевой метрике] за N дней. Риск — [R]. Предлагаю: сегодня — вариант A (контролируем через [А/Б]). Параллельно нужно сделать глубокий разбор по риску R, результаты — к [дата]».
Такой подход помогает менеджеру понимать, что аналитик работает и в моменте, и на перспективу.
Желаю всем добегать марафоны! Если бы пришлось выбирать, ставьте:
🤓 — если вы за смысл,
⚡ — если за скорость,
💡 — свой вариант в комментариях.
#АрменЕс
🤓45⚡9🔥8👍5
👋 Привет! С вами Маша, и я взяла интервью у Кати Нестеровой. Раньше она работала тимлидом в Get Delivery, а теперь — руководитель направления аналитики Auto PRO X в Авито.
Изначально в её команде было 4 человека, но за год сотрудников стало в 2,5 раза больше. В какой-то момент Катя стала выполнять обязанности division leadтимлида тимлидов и через полгода произошло повышение. Я решила узнать, как ей удалось этого достичь. Основное интервью — в тексте, а бонусные вопросы — в карточках.
Как ты росла в Авито?
Это был бурный рост, который, наверное, не случился бы без внешних факторов: развития нашей команды и рынка, а также поддержки моих первых подчинённых и текущей команды.
Как тебе удалось собрать такую дружную команду с комфортной атмосферой?
Я изначально пришла в команду, которая покорила меня открытостью, добротой, поддержкой, желанием менять наш продукт, а также интересом к сложным новым задачам. Поэтому я поставила себе задачу не разрушать эту атмосферу.
Ты ищешь какие-то определённые качества при найме?
Каждый раз, когда я приглашаю нового человека в нашу команду, пытаюсь представить, как эти люди будут ощущать себя вместе. Смогут и захотят ли они пойти вместе в бар? Будет ли им о чём поболтать за кофе? Потому что мы очень много времени проводим на работе, и если наше взаимодействие заканчивается только формальными запросами, задачами и обсуждением границ ответственности, то такая команда далеко не убежит.
Хочется, чтобы команда больше походила на компанию хороших знакомых, которым приятно проводить время вместе, а значит, и помогать друг другу.
Были у тебя провалы в твоей работе?
Да, их было достаточно. Наверное, самые болезненные, которые я всегда буду хорошо помнить, — неудачные случаи найма, когда не получилось на старте выровняться между ожиданиями: моими от сотрудника, компании от роли и кандидата от позиции. Первое очарование после собеседований и испытательного срока быстро проходит, и дальше мы сталкиваемся с реальностью.
Я легко очаровываюсь людьми, и главный урок, который я вынесла из ошибок в найме — умение откидывать первое вдохновение новым человеком. Это навык рациональной оценки: я пытаюсь понять, что меня так воодушевило с точки зрения опыта, навыков и мотивации кандидата? В общем, человеческие ошибки — самые болезненные, потому что это люди, которых мы можем потерять, не нанять или не дать им возможность развиваться. Количество таких случаев хочется минимизировать.
Как ты начинаешь свой рабочий день?
Очень по-разному. В идеальном сценарии я выспалась, встала по будильнику, погуляла с собакой и приготовила завтрак. А ещё у меня есть хотя бы полчаса, чтобы быстро сформировать фокус на день. В реальности бывает по-разному: например, дни, когда с 8 или 9 утра стоят внезапные созвоны. Тогда я менее эффективна: всё идёт наперекосяк и нет времени подумать о том, что сегодня действительно важно.
Какие скилы ты планируешь прокачивать дальше?
С профессиональным ростом сотрудников становится сложнее приносить им пользу, потому что они сами по себе уже очень мощные специалисты и зрелые люди. Так что ты можешь дать человеку, если сам находишься на недостаточном уровне взрослости или опыта? Поэтому я ищу различные способы управления своими эмоциями, создания продуктивной и открытой атмосферы в команде.
Как сфокусироваться на самых важных задачах?
Вторая зона моего постоянного роста — приоритизация. Мне очень понравилась метафора нашего руководителя. Он сказал, что сильный менеджер — это не тот человек, который умеет жонглировать 10 шарами одновременно, а тот, кто понимает, какие шары нельзя уронить.
На меня постоянно давят запросы от бизнеса и команды, дедлайны, изменяющиеся фокусы и нехватка ресурсов. Поэтому остаётся полагаться на интуицию и опыт, чтобы быстро принимать решения о том, какие шары можно уронить. Это нормально: потом мы разберёмся с последствиями, что не сделали какие-то задачи и нарушили некоторые обещания. Главное — понять, какие шары нужно удержать, и сделать это.
Изначально в её команде было 4 человека, но за год сотрудников стало в 2,5 раза больше. В какой-то момент Катя стала выполнять обязанности division lead
Как ты росла в Авито?
Это был бурный рост, который, наверное, не случился бы без внешних факторов: развития нашей команды и рынка, а также поддержки моих первых подчинённых и текущей команды.
Как тебе удалось собрать такую дружную команду с комфортной атмосферой?
Я изначально пришла в команду, которая покорила меня открытостью, добротой, поддержкой, желанием менять наш продукт, а также интересом к сложным новым задачам. Поэтому я поставила себе задачу не разрушать эту атмосферу.
Ты ищешь какие-то определённые качества при найме?
Каждый раз, когда я приглашаю нового человека в нашу команду, пытаюсь представить, как эти люди будут ощущать себя вместе. Смогут и захотят ли они пойти вместе в бар? Будет ли им о чём поболтать за кофе? Потому что мы очень много времени проводим на работе, и если наше взаимодействие заканчивается только формальными запросами, задачами и обсуждением границ ответственности, то такая команда далеко не убежит.
Хочется, чтобы команда больше походила на компанию хороших знакомых, которым приятно проводить время вместе, а значит, и помогать друг другу.
Были у тебя провалы в твоей работе?
Да, их было достаточно. Наверное, самые болезненные, которые я всегда буду хорошо помнить, — неудачные случаи найма, когда не получилось на старте выровняться между ожиданиями: моими от сотрудника, компании от роли и кандидата от позиции. Первое очарование после собеседований и испытательного срока быстро проходит, и дальше мы сталкиваемся с реальностью.
Я легко очаровываюсь людьми, и главный урок, который я вынесла из ошибок в найме — умение откидывать первое вдохновение новым человеком. Это навык рациональной оценки: я пытаюсь понять, что меня так воодушевило с точки зрения опыта, навыков и мотивации кандидата? В общем, человеческие ошибки — самые болезненные, потому что это люди, которых мы можем потерять, не нанять или не дать им возможность развиваться. Количество таких случаев хочется минимизировать.
Как ты начинаешь свой рабочий день?
Очень по-разному. В идеальном сценарии я выспалась, встала по будильнику, погуляла с собакой и приготовила завтрак. А ещё у меня есть хотя бы полчаса, чтобы быстро сформировать фокус на день. В реальности бывает по-разному: например, дни, когда с 8 или 9 утра стоят внезапные созвоны. Тогда я менее эффективна: всё идёт наперекосяк и нет времени подумать о том, что сегодня действительно важно.
Какие скилы ты планируешь прокачивать дальше?
С профессиональным ростом сотрудников становится сложнее приносить им пользу, потому что они сами по себе уже очень мощные специалисты и зрелые люди. Так что ты можешь дать человеку, если сам находишься на недостаточном уровне взрослости или опыта? Поэтому я ищу различные способы управления своими эмоциями, создания продуктивной и открытой атмосферы в команде.
Как сфокусироваться на самых важных задачах?
Вторая зона моего постоянного роста — приоритизация. Мне очень понравилась метафора нашего руководителя. Он сказал, что сильный менеджер — это не тот человек, который умеет жонглировать 10 шарами одновременно, а тот, кто понимает, какие шары нельзя уронить.
На меня постоянно давят запросы от бизнеса и команды, дедлайны, изменяющиеся фокусы и нехватка ресурсов. Поэтому остаётся полагаться на интуицию и опыт, чтобы быстро принимать решения о том, какие шары можно уронить. Это нормально: потом мы разберёмся с последствиями, что не сделали какие-то задачи и нарушили некоторые обещания. Главное — понять, какие шары нужно удержать, и сделать это.
❤37🔥11👍3👎3😱1😴1🤪1
Привет! Это Армен, старший аналитик в CRM. В Авито я повышаю эффективность массовых рассылок с помощью оптимизации алгоритмов отправки. Сегодня расскажу, как случайность помогла значимо улучшить метрики и найти закономерности в хаосе.
💼 Что за продукт. Балансировщик маркетинговых рассылок — это продукт команды CRM, который позволяет управлять трафиком коммуникаций на пользователя в течение дня.
Он помогает решить три задачи:
➡️ Ранжирует доступные пользователю коммуникации, чтобы выбрать самую релевантную в конкретный день.
➡️ Управляет количеством коммуникаций в день на пользователя, чтобы снижать негатив от рассылок.
➡️ Подбирает оптимальное время отправки для конкретной кампании, чтобы попасть в прайм-тайм пользователя.
🤔 С чего всё началось. Мы захотели быстро проверить, насколько изменения в ранжировании коммуникаций влияют на продуктовые метрики. На тот момент у нас ещё не было ни одного эксперимента — нужно было понять, как именно система реагирует на сдвиги в довольно хаотичной логике.
Раньше маркетологи задавали приоритет кампаний вручную — через время отправки. Самые лучшие кампании, проверенные на А/Б, ставились утром, а менее «аплифтовые» — к вечеру. Это помогало избежать пересечений между рассылками одной вертикали.
🔀 Что сделали. Чтобы измерить влияние и найти закономерности, мы добавили контролируемую случайность: часть трафика распределяли по рандомной эвристике вместо фиксированных правил. Мы не пытались улучшить метрики — хотели просто увидеть, как система ведёт себя без человеческого паттерна и собрать более сбалансированные данные для дальнейшего анализа.
🥇 Что вышло на А/Б.Рандом не просто выстоял — он значимо улучшил продуктовые метрики, включая сделки на Авито, по сравнению с экспертной логикой. Случайность помогла системе выйти из локальных оптимумов и выявить неочевидные точки роста.
😎 Итог. Мы не заменяли экспертность алгоритмом вслепую, а провалидировали ее на данных. Эксперимент показал, что случайные распределения помогают увидеть, где текущая логика действительно работает, а где мы переоцениваем собственные решения. Иногда именно рандом делает систему устойчивее, честнее и проще — а значит, помогает принимать более надёжные продуктовые решения.
Ставьте ❤️, если вы тоже за интересные эксперименты, которые приносят инсайты
#АрменЕс
💼 Что за продукт. Балансировщик маркетинговых рассылок — это продукт команды CRM, который позволяет управлять трафиком коммуникаций на пользователя в течение дня.
Он помогает решить три задачи:
🤔 С чего всё началось. Мы захотели быстро проверить, насколько изменения в ранжировании коммуникаций влияют на продуктовые метрики. На тот момент у нас ещё не было ни одного эксперимента — нужно было понять, как именно система реагирует на сдвиги в довольно хаотичной логике.
Раньше маркетологи задавали приоритет кампаний вручную — через время отправки. Самые лучшие кампании, проверенные на А/Б, ставились утром, а менее «аплифтовые» — к вечеру. Это помогало избежать пересечений между рассылками одной вертикали.
🔀 Что сделали. Чтобы измерить влияние и найти закономерности, мы добавили контролируемую случайность: часть трафика распределяли по рандомной эвристике вместо фиксированных правил. Мы не пытались улучшить метрики — хотели просто увидеть, как система ведёт себя без человеческого паттерна и собрать более сбалансированные данные для дальнейшего анализа.
🥇 Что вышло на А/Б.
😎 Итог. Мы не заменяли экспертность алгоритмом вслепую, а провалидировали ее на данных. Эксперимент показал, что случайные распределения помогают увидеть, где текущая логика действительно работает, а где мы переоцениваем собственные решения. Иногда именно рандом делает систему устойчивее, честнее и проще — а значит, помогает принимать более надёжные продуктовые решения.
Ставьте ❤️, если вы тоже за интересные эксперименты, которые приносят инсайты
#АрменЕс
Please open Telegram to view this post
VIEW IN TELEGRAM
❤36🔥6💅3
Недавно на канале Avito Team вышло интервью с Димой Бодуновым — руководителем аналитики Customer Decision (опыт покупателя, маркетинг, коммуникации, вот это всё). Дима мой руководитель, поэтому я не смог пройти мимо. Ведь Дима мой любимый руководитель, я счастлив работать под его началом.
Ладно, со мной всё понятно, но вам то зачем слушать его интервью? А вот:
✔️ Во-первых, хобби Димы довольно специфичны, интересно было о них узнать.
✔️ Во-вторых, у него витиеватый карьерный путь. Наука, ритейл, консалтинг... При этом до Авито не было ни одного классического бигтеха. Сквозь всё интервью красной нитью проходит идея «фазовых переходов», которые переживал Дима, когда менял сферу деятельности или грейд. Я сам неоднократно проходил через подобное, поэтому тема мне очень откликнулась. Думаю, многим из вас тоже будет интересно. Более опытные сравнят ощущения со своими. А еще только планирующие стать аналитиками (или менеджерами) узнают, что их ждёт.
✔️ В-третьих, в подкасте рассказывают про серьёзный факап, а про чужие ошибки всегда слушать интересно (как же я рад, что Дима выбрал факап не моей команды).
Интервью можно посмотреть на ютуб-канале AvitoTeam или послушать в ВК.
Ладно, со мной всё понятно, но вам то зачем слушать его интервью? А вот:
Интервью можно посмотреть на ютуб-канале AvitoTeam или послушать в ВК.
Please open Telegram to view this post
VIEW IN TELEGRAM
Всем привет! Сегодня расскажу про два подхода к коммуникации — top down и bottom up.
📎 Top down — подход от общего к частному. Незаменимый помощник на любых встречах, где за малое время нужно донести коллегам, руководителям и топам компании суть проекта или задачи. Мы начинаем с главного: «Наша идея X приносит +5% к выручке». А дальше раскрываем: за счёт чего всё происходит, как мы посчитали или как к этому пришли. Объём объяснений зависит от доступного времени на встрече и вопросов аудитории.
📎 Bottom up — объяснение от частного к общему. Отлично подходит, чтобы рассказать слушателям о новой важной теме, в которой нужно разобраться. В этом подходе мы поэтапно рассказываем о проблеме, что помогает собрать общую картинку. К таким коммуникациям можно отнести почти всё обучение или погружение коллеги в новый продукт. На выходе человек получит последовательные знания, которые потом сможет использовать в работе.
Что случится, если не обращать внимания на подход к коммуникации? Рассказывая топ-менеджеру о проекте, потратите всё время на детали, но потеряете главную мысль, с которой нужно уйти со встречи. А если студенты услышат про интегралы через топ-даун подход, они унесут мысль, что интегралы полезны и нужны. А вот дальше будет сложно выстроить структурный рассказ, чтобы ребята действительно овладели инструментом.
❤️ — чтобы вся коммуникация складывалась хорошо!
Что случится, если не обращать внимания на подход к коммуникации? Рассказывая топ-менеджеру о проекте, потратите всё время на детали, но потеряете главную мысль, с которой нужно уйти со встречи. А если студенты услышат про интегралы через топ-даун подход, они унесут мысль, что интегралы полезны и нужны. А вот дальше будет сложно выстроить структурный рассказ, чтобы ребята действительно овладели инструментом.
❤️ — чтобы вся коммуникация складывалась хорошо!
Please open Telegram to view this post
VIEW IN TELEGRAM
❤38🔥10❤🔥4🙏1
Привет! Ловите новый выпуск «Диванной аналитики» со Стешей Чупрыгиной, тимлидом команды Monetization Efficiency.
💗 Видео про сплит-тесты. Вы же знаете, что A/B подходит не всегда, вот мы и рассказали, как проводим сплит-тестирование новых алгоритмов ранжирования объявлений.
О чём рассказывает Стеша:
📢 как устроено монетизационное ранжирование на Авито,
📢 что такое автобиддинг,
📢 как сплит-тесты помогают нам улучшать алгоритмы.
Смотрите, где больше нравится:
➡️ Youtube
➡️ RuTube
➡️ VK Видео
О чём рассказывает Стеша:
Смотрите, где больше нравится:
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥25❤7
Всем привет! На связи Армен из CRM. Сегодня поговорим о том, как не стоит учить менеджеров запускать А/Б-тесты.
Ежегодно мы в Авито запускаем около 6000 экспериментов, при этом 40% из которых связаны с CRM-коммуникациями. Чтобы держать такой темп, часть запуска и первичный разбор делают маркетологи. Поэтому в продвинутом курсе для буткемперов в ААА мы уделяем время отдельной лекции по CRM-экспериментам: методологии, дизайну, интерпретации и процессам. Подробнее про то, как мы проводим А/Б-тесты с рассылками, можно прочесть в статье.
А теперь — к вредным советам. Если хотите, чтобы эксперименты были невоспроизводимыми, а команда спорила дольше, чем шёл тест — действуйте так:
1️⃣ Делайте вид, что А/Б — это кнопка.
Не объясняйте, что тест — это про корректный дизайн: как формируются группы, какое окно анализа берём, в каком разрезе смотрим метрики. Пусть каждый увидит свою истину в отчёте с метриками.
2️⃣ Убирайте контекст метрик.
Не закрепляйте список целевых, прокси и контр-метрик. Пускай uplift интерпретируют по вдохновению: один смотрит на покупателей, другой — на клики, третий — на отписки, и все по-своему правы.
3️⃣ Не уделяйте время математике.
Статистическая мощность, уровень значимости, множественные сравнения — «слишком академично». Всегда ведь найдётся аналитик, который вручную разбирает по три теста в день и объясняет, почему выводы противоречат друг другу.
4️⃣ Шаблоны резолюций не нужны.
Пусть итоги теста пишут в свободной форме: без явной формулировки гипотезы, без фиксированного окна и разреза, без ссылок на конкретные отчёты. Поиск по истории экспериментов превратится в квест, а повторное использование знаний — в приключение.
5️⃣ Избегайте сложных случаев.
Не обсуждайте ограничения в А/Б-тестах, не рассказывайте про каннибализацию метрик и долгосрочные эффекты. Лучше их не учитывать, ведь так проще принимать решения.
Аналитики, а что у вас встречается чаще?
🔥 — видели такие подходы вживую
❤️ — процесс А/Б-тестирования уже формализован и предсказуем
#АрменЕс
Ежегодно мы в Авито запускаем около 6000 экспериментов, при этом 40% из которых связаны с CRM-коммуникациями. Чтобы держать такой темп, часть запуска и первичный разбор делают маркетологи. Поэтому в продвинутом курсе для буткемперов в ААА мы уделяем время отдельной лекции по CRM-экспериментам: методологии, дизайну, интерпретации и процессам. Подробнее про то, как мы проводим А/Б-тесты с рассылками, можно прочесть в статье.
А теперь — к вредным советам. Если хотите, чтобы эксперименты были невоспроизводимыми, а команда спорила дольше, чем шёл тест — действуйте так:
Не объясняйте, что тест — это про корректный дизайн: как формируются группы, какое окно анализа берём, в каком разрезе смотрим метрики. Пусть каждый увидит свою истину в отчёте с метриками.
Не закрепляйте список целевых, прокси и контр-метрик. Пускай uplift интерпретируют по вдохновению: один смотрит на покупателей, другой — на клики, третий — на отписки, и все по-своему правы.
Статистическая мощность, уровень значимости, множественные сравнения — «слишком академично». Всегда ведь найдётся аналитик, который вручную разбирает по три теста в день и объясняет, почему выводы противоречат друг другу.
Пусть итоги теста пишут в свободной форме: без явной формулировки гипотезы, без фиксированного окна и разреза, без ссылок на конкретные отчёты. Поиск по истории экспериментов превратится в квест, а повторное использование знаний — в приключение.
Не обсуждайте ограничения в А/Б-тестах, не рассказывайте про каннибализацию метрик и долгосрочные эффекты. Лучше их не учитывать, ведь так проще принимать решения.
Аналитики, а что у вас встречается чаще?
🔥 — видели такие подходы вживую
❤️ — процесс А/Б-тестирования уже формализован и предсказуем
#АрменЕс
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥26❤3🤔3🗿2
Привет! Сегодня хочу поговорить про поиск задач — навык, который позволяет показать свой интерес к улучшению продукта.
Где находить задачи?
Я пользуюсь следующими источниками:
💡Задача пришла сама. Метрика ведёт себя странно, а обычные объяснения не подходят — повод копнуть поглубже.
🤓Адаптация нового метода для своего продукта. Если другая команда внедрила новый подход к сегментации пользователей или вы увидели статью на Хабре про новые аналитические инструменты, можно узнать, как это работает и прокачать харды.
🔍Личный опыт. Когда вы используете свой продукт или решение конкурентов, можете заметить, что именно хотите улучшить в пользовательском пути. Дальше можно поисследовать, сколько пользователей сталкиваются с похожей проблемой и придумать решение.
⚡️Собственный интерес. Иногда задачи приходят внезапно: вы задаётесь вопросом, какие именно фичи влияют на ретеншен пользователей. Дальше начинаете изучать данные и находите интересные инсайты, которые приносите бизнесу.
А как вы находите задачи?
#Таня
Где находить задачи?
Я пользуюсь следующими источниками:
💡Задача пришла сама. Метрика ведёт себя странно, а обычные объяснения не подходят — повод копнуть поглубже.
🤓Адаптация нового метода для своего продукта. Если другая команда внедрила новый подход к сегментации пользователей или вы увидели статью на Хабре про новые аналитические инструменты, можно узнать, как это работает и прокачать харды.
🔍Личный опыт. Когда вы используете свой продукт или решение конкурентов, можете заметить, что именно хотите улучшить в пользовательском пути. Дальше можно поисследовать, сколько пользователей сталкиваются с похожей проблемой и придумать решение.
⚡️Собственный интерес. Иногда задачи приходят внезапно: вы задаётесь вопросом, какие именно фичи влияют на ретеншен пользователей. Дальше начинаете изучать данные и находите интересные инсайты, которые приносите бизнесу.
А как вы находите задачи?
#Таня
🔥23❤2⚡1
Всем привет! Я Армен, старший аналитик в CRM. Сегодня рассказываю, как мы оптимизируем алгоритмы для массовых рассылок от Авито с помощью ML.
Немного контекста: в Авито запускается более 900 маркетинговых CRM-кампаний каждый день и отправляется более 5 миллиардов коммуникаций в месяц. Одна из задач аналитиков в CRM — помогать отправлять рассылки наиболее эффективным образом: улучшать покрытие пользователей, не спамить их неинтересными коммуникациями и, главное, отправлять самое релевантное, делая опыт покупателей и продавцов на площадке максимально комфортным и предвосхищая их потребности.
Чтобы поделиться нашим опытом решения такой нетривиальной задачи, записали выпуск «Диванной аналитики». В нём я подробно рассказываю:
— Про CRM в целом, какие рассылки отправляем и зачем.
— Про то, как мы строим ML модели ранжирования коммуникаций на пользователя по степени их релевантности и какие подходы для этого используем.
— Про ключевые различия между задачей ранжирования рассылок и классическими рекомендациями в поиске и ленте объявлений Авито.
Полный выпуск смотрите по ссылкам:
📌 YouTube
📌 VK
📌 Rutube
Ставьте 🔥, если любите получать только самые нужные уведомления — и хотите узнать, как мы делаем это под капотом.
Пишите вопросы в комментариях — с удовольствием отвечу!
#АрменЕс
Немного контекста: в Авито запускается более 900 маркетинговых CRM-кампаний каждый день и отправляется более 5 миллиардов коммуникаций в месяц. Одна из задач аналитиков в CRM — помогать отправлять рассылки наиболее эффективным образом: улучшать покрытие пользователей, не спамить их неинтересными коммуникациями и, главное, отправлять самое релевантное, делая опыт покупателей и продавцов на площадке максимально комфортным и предвосхищая их потребности.
Чтобы поделиться нашим опытом решения такой нетривиальной задачи, записали выпуск «Диванной аналитики». В нём я подробно рассказываю:
— Про CRM в целом, какие рассылки отправляем и зачем.
— Про то, как мы строим ML модели ранжирования коммуникаций на пользователя по степени их релевантности и какие подходы для этого используем.
— Про ключевые различия между задачей ранжирования рассылок и классическими рекомендациями в поиске и ленте объявлений Авито.
Полный выпуск смотрите по ссылкам:
📌 YouTube
📌 VK
📌 Rutube
Ставьте 🔥, если любите получать только самые нужные уведомления — и хотите узнать, как мы делаем это под капотом.
Пишите вопросы в комментариях — с удовольствием отвечу!
#АрменЕс
🔥22❤6
Привет, на связи Маша Новикова! Погода подталкивает на философские размышления о поиске баланса между двумя крайностями в работе аналитика 🤔 С одной стороны, аналитический паралич с бесконечными поисками идеального решения, с другой, — необходимость действовать в условиях неопределённости. Чем выше грейд, тем чаще нужно быстро принимать решения на неполных данных.
Но как отличить осознанное принятие риска от плохого анализа? Предлагаю 6 чек‑пойнтов для самопроверки аналитика:
1️⃣ Чётко назвал пробелы. Могу перечислить недостающие данные и допущения в расчётах.
2️⃣ Оценил «вес» риска. Прикинул вероятность и масштаб возможных последствий при неудачном запуске.
3️⃣ Оценил ценность дополнительного времени. Что будет, если потратить ещё день, неделю или месяц на ресёрч и просчёт сценариев? Оправдан ли профит от этого времени?
4️⃣ Понял срочность. Если нет дополнительного времени на проработку, то понятно, почему, и чем обосновано.
5️⃣ Подготовил мониторинг и индикаторы ошибок. Записал гипотезы и признаки, по которым пойму, где и как ошибся при запуске.
6️⃣ Получил обратную связь. Обсудил всё это с руководителем или продактом.
Пример из жизни
Нужно выбрать гипотезу для A/B‑теста, но данных мало.
❌ «Да ладно, попробуем» — это риск без понимания последствий. В результате потеря времени, ресурсов и неясные выводы. Тратим больше времени на анализ последствий, чем на подготовку к запуску.
✅ «Данных мало, но минимальные расчёты есть, срок и правда горит, но может спасти план по бюджету и потенциальный выигрыш по метрике x3, есть план Б в случае неудачи» — это осознанный риск. Даже при неудаче будут ясны причины, а мы получим новое знание о продукте и сможем держать ситуацию под контролем.
Ключевой вопрос перед решением
«Если через месяц это окажется ошибкой, смогу ли я чётко объяснить, почему так случилось?» Если ответ нет — стоит потратить ещё как минимум 15 минут на анализ 😁
Ставьте лайки, если зашло, и делитесь, как вы отличаете осознанный риск от «авось прокатит»?⬇️
#Новик
Но как отличить осознанное принятие риска от плохого анализа? Предлагаю 6 чек‑пойнтов для самопроверки аналитика:
Пример из жизни
Нужно выбрать гипотезу для A/B‑теста, но данных мало.
❌ «Да ладно, попробуем» — это риск без понимания последствий. В результате потеря времени, ресурсов и неясные выводы. Тратим больше времени на анализ последствий, чем на подготовку к запуску.
✅ «Данных мало, но минимальные расчёты есть, срок и правда горит, но может спасти план по бюджету и потенциальный выигрыш по метрике x3, есть план Б в случае неудачи» — это осознанный риск. Даже при неудаче будут ясны причины, а мы получим новое знание о продукте и сможем держать ситуацию под контролем.
Ключевой вопрос перед решением
«Если через месяц это окажется ошибкой, смогу ли я чётко объяснить, почему так случилось?» Если ответ нет — стоит потратить ещё как минимум 15 минут на анализ 😁
Ставьте лайки, если зашло, и делитесь, как вы отличаете осознанный риск от «авось прокатит»?
#Новик
Please open Telegram to view this post
VIEW IN TELEGRAM
❤37👎5👍4🔥2🤝1🗿1
This media is not supported in your browser
VIEW IN TELEGRAM
🔥37
Привет! С вами Маша, и сегодня представляю Феликса Савченкова, senior аналитика в Pricing в Авито. Феликс пришёл в Авито из Skyeng, а до этого был преподавателем английского, предпринимателем, маляром и инженером-конструктором радиолокационной техники.
❓ Как ты пришёл к аналитике?
В 2010 году мы с ребятами организовали консалтинговую компанию в области финансов,один из них умел писать скрипты на C++, подключался к данным и делал разные алгоритмы. Я заинтересовался и попросил научить меня кодить. Тема не пошла, но я вернулся к ней в 2017 году, когда смотрел блог ребят, которые открывают стартапы в Сан-Франциско. Вдохновился и прошёл курсы фронтенд-разработчика.
❓ Какой путь в Авито?
В Авито я уже 2,5 года. Попал сразу на грейд middle, который соответствовал моим скилам. За это время у меня было три попытки перевестись на senior, но из-за загруженности, когда не успевал сделать ресёрч, смог только недавно это сделать.
❓ У тебя интересные задачи в работе?
Да, я обожаю эту профессию. Я давно написал список качеств идеальной работы: «чтобы была техника и творчество, чтобы были люди, с которыми можно общаться и т. д.» И вот, через 10 лет я получил то, что тогда написал. У меня есть задачи, которые позволяют мне реализовывать предпринимательскую жилку: иди туда, не знаю куда, принеси то, не знаю что. И я пытаюсь «кристаллизовать» идею и принести её в реальный мир. Это очень прикольно.
❓ Бывают скучные задачи?
Да, но я научился делать их нескучными. Я провожу что-то вроде медитации: сажусь, вытираю стол, кладу лист и пишу: «Скучная задача № 1», дата и план выполнения. Я медленно структурирую и описываю: что, зачем буду делать и в каком порядке. Если нужно писать код, создаю новую папочку с файлом, в котором описываю по шагам все действия. Такое состояние похоже на подметание: делаешь пол чище, а мир вокруг себя — лучше. Впадаешь в состояние создателя — укротителя хаоса.
❓ Какое идеальное соотношение разных задач для тебя?
Для открытых задач не более 40%, так как они могут дезинтегрировать изнутри. Слишком открытые и длинные задачи вызывают фрустрацию. Чтобы не попасть в это состояние, надо разбавлять открытые задачи более понятными маленькими и менеджерскими делами.
На управление собственными ресурсами, процессами и переговорами с другими командами я бы хотел оставить 30%. И оставшиеся 30% — это методические, рутинные, правильные, дисциплинирующие задачи.
❓ Расскажи о рабочих лайфхаках?
Лайфхак №1 — все идеи из головы переносить в физический мир. Например, я пишу идеи и рисую схемы на доске. Так формирую видение того, что буду делать дальше.
Лайфхак №2 — узнавать язык другого человека, чтобы понятно доносить ему информацию. Если передавать каждую мысль в мелких деталях, — есть риск, что её не поймут. Поэтому, если нужно рассказать что-то простым языком, так и надо делать. Это помогает поддерживать коммуникацию.
❓ Расскажешь о первом рабочем провале?
Он произошёл в первый рабочий день в моей жизни. Я пришёл в конструкторское бюро, пытаюсь включить компьютер, а он не включается. Я подумал: «Все решат, что я глупый и не достоин этой работы». Но мой начальник начал решать задачу по-взрослому: сказал «1-й пункт: есть ли питание у компьютера?». Я проверил — а питания нет. Этот провал научил меня, что не нужно паниковать и действовать из позиции недостойности. Лучше думать о результате, а не об оценке других.
❓ Какими достижениями ты гордишься?
Коллега, которого я онбордил в команду, стал самостоятельным мидлом. Это считаю успехом — это первый раз за всё время моей деятельности, когда у меня был кто-то, кого я обучал и наставлял. А дальше он сам взлетел, и это тоже классное ощущение.
❓ Какой у тебя сейчас путь развития?
Хочу развиваться в софтах, чтобы лучше управлять долгосрочным планированием. Ещё хочу обрести навык, который я называю «хороводить людей», организуешь спецов из разных команд, чтобы решать локальные задачи длиной в месяц или квартал, рисуешь роадмап и т.д.
Из хардов я хочу автоматизировать рутинные задачи и заставить LLM работать предсказуемым образом, чтобы она давала стабильный результат.
#МашаЯр
В 2010 году мы с ребятами организовали консалтинговую компанию в области финансов,один из них умел писать скрипты на C++, подключался к данным и делал разные алгоритмы. Я заинтересовался и попросил научить меня кодить. Тема не пошла, но я вернулся к ней в 2017 году, когда смотрел блог ребят, которые открывают стартапы в Сан-Франциско. Вдохновился и прошёл курсы фронтенд-разработчика.
В Авито я уже 2,5 года. Попал сразу на грейд middle, который соответствовал моим скилам. За это время у меня было три попытки перевестись на senior, но из-за загруженности, когда не успевал сделать ресёрч, смог только недавно это сделать.
Да, я обожаю эту профессию. Я давно написал список качеств идеальной работы: «чтобы была техника и творчество, чтобы были люди, с которыми можно общаться и т. д.» И вот, через 10 лет я получил то, что тогда написал. У меня есть задачи, которые позволяют мне реализовывать предпринимательскую жилку: иди туда, не знаю куда, принеси то, не знаю что. И я пытаюсь «кристаллизовать» идею и принести её в реальный мир. Это очень прикольно.
Да, но я научился делать их нескучными. Я провожу что-то вроде медитации: сажусь, вытираю стол, кладу лист и пишу: «Скучная задача № 1», дата и план выполнения. Я медленно структурирую и описываю: что, зачем буду делать и в каком порядке. Если нужно писать код, создаю новую папочку с файлом, в котором описываю по шагам все действия. Такое состояние похоже на подметание: делаешь пол чище, а мир вокруг себя — лучше. Впадаешь в состояние создателя — укротителя хаоса.
Для открытых задач не более 40%, так как они могут дезинтегрировать изнутри. Слишком открытые и длинные задачи вызывают фрустрацию. Чтобы не попасть в это состояние, надо разбавлять открытые задачи более понятными маленькими и менеджерскими делами.
На управление собственными ресурсами, процессами и переговорами с другими командами я бы хотел оставить 30%. И оставшиеся 30% — это методические, рутинные, правильные, дисциплинирующие задачи.
Лайфхак №1 — все идеи из головы переносить в физический мир. Например, я пишу идеи и рисую схемы на доске. Так формирую видение того, что буду делать дальше.
Лайфхак №2 — узнавать язык другого человека, чтобы понятно доносить ему информацию. Если передавать каждую мысль в мелких деталях, — есть риск, что её не поймут. Поэтому, если нужно рассказать что-то простым языком, так и надо делать. Это помогает поддерживать коммуникацию.
Он произошёл в первый рабочий день в моей жизни. Я пришёл в конструкторское бюро, пытаюсь включить компьютер, а он не включается. Я подумал: «Все решат, что я глупый и не достоин этой работы». Но мой начальник начал решать задачу по-взрослому: сказал «1-й пункт: есть ли питание у компьютера?». Я проверил — а питания нет. Этот провал научил меня, что не нужно паниковать и действовать из позиции недостойности. Лучше думать о результате, а не об оценке других.
Коллега, которого я онбордил в команду, стал самостоятельным мидлом. Это считаю успехом — это первый раз за всё время моей деятельности, когда у меня был кто-то, кого я обучал и наставлял. А дальше он сам взлетел, и это тоже классное ощущение.
Хочу развиваться в софтах, чтобы лучше управлять долгосрочным планированием. Ещё хочу обрести навык, который я называю «хороводить людей», организуешь спецов из разных команд, чтобы решать локальные задачи длиной в месяц или квартал, рисуешь роадмап и т.д.
Из хардов я хочу автоматизировать рутинные задачи и заставить LLM работать предсказуемым образом, чтобы она давала стабильный результат.
#МашаЯр
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥40❤13👍4👎1
Всем привет! Заказчики уже научились бесить аналитиков в моём предыдущем посте, но аналитики тоже не ангелы — давайте проверим, как часто мы грешим сами 😈
Даю 7 антисоветов для аналитиков.
1️⃣ Забудьте половину требований
Похихикайте и сошлитесь на свою «девичью память»(или старческий склероз — у кого что). Пусть заказчик напишет вам ещё несколько раз: частое общение — залог крепких отношений 😊
2️⃣ Задайте побольше несущественных вопросов
Минимум 100 — красивое число. Обязательно спросите каждую деталь, вплоть до HEX-кода цвета линий на графике и желаемые размеры в миллиметрах. Ни в коем случае не предлагайте что-то от себя — вдруг покажетесь навязчивым.
3️⃣ Но не спрашивайте, зачем нужна эта задача
Все детали мы уже выяснили, но какими-то глобальными вопросами заказчика не надо грузить — это уже перебор🦆
4️⃣ Храните статус работы в секрете
Просто делайте, как чувствуете. Никаких синков и предварительных результатов, ничего не показывайте до конца — наверняка ваш заказчик любит сюрпризы.
5️⃣ Называйте сроки рандомно
Заказчик спросил, когда примерно будет готово? Ни в коем случае не тратьте время на оценку сроков — включите рандом, будьте непредсказуемым🕺
6️⃣ Всё очевидное — очевидно
Объяснять термины и аббревиатуры глупо — если вы их знаете, значит, и другие знают. Не надо это писать в документации или описании к задаче: по-хорошему никакой документации вообще не нужно. Если у заказчика есть вопросы — пусть напишет вам, может он как раз соскучился😊
7️⃣ Не проверяйте работу перед отправкой
Поверьте, если заказчик получит файл «Финал», а потом «Финал_итог» — он будет счастлив.
Аналитики, честно признавайтесь — было?
❤️ — ни разу! (невероятно)
🔥 — пару раз грешил
💔 — да я вообще грешник, буду исправляться
#МашаАн
Даю 7 антисоветов для аналитиков.
Похихикайте и сошлитесь на свою «девичью память»
Минимум 100 — красивое число. Обязательно спросите каждую деталь, вплоть до HEX-кода цвета линий на графике и желаемые размеры в миллиметрах. Ни в коем случае не предлагайте что-то от себя — вдруг покажетесь навязчивым.
Все детали мы уже выяснили, но какими-то глобальными вопросами заказчика не надо грузить — это уже перебор
Просто делайте, как чувствуете. Никаких синков и предварительных результатов, ничего не показывайте до конца — наверняка ваш заказчик любит сюрпризы.
Заказчик спросил, когда примерно будет готово? Ни в коем случае не тратьте время на оценку сроков — включите рандом, будьте непредсказуемым
Объяснять термины и аббревиатуры глупо — если вы их знаете, значит, и другие знают. Не надо это писать в документации или описании к задаче: по-хорошему никакой документации вообще не нужно. Если у заказчика есть вопросы — пусть напишет вам, может он как раз соскучился
Поверьте, если заказчик получит файл «Финал», а потом «Финал_итог» — он будет счастлив.
Аналитики, честно признавайтесь — было?
❤️ — ни разу! (невероятно)
🔥 — пару раз грешил
💔 — да я вообще грешник, буду исправляться
#МашаАн
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥51💔24❤8😁4👏2🗿1
Привет! Меня зовут Миша Пирожков, и я принёс новый выпуск «Диванной аналитики». В нём я рассказываю о региональных тестах: как и зачем мы их используем.
Для наглядности: рассмотрим кейс с новым алгоритмом продвижения объявлений, где нам нужно оценить его эффективность. Проблема здесь в том, что тестовый алгоритм неявно вытесняет старое решение: из-за сетевого эффекта продавцы из контроля перестают пользоваться продвижением.
В докладе я показываю, как этого можно избежать.
На этом и других примерах также разбираю:
📍 Как работают региональные тесты и как устроен текущий инструмент для анализа — RegAB.
📍 Почему решили улучшать текущий инструмент и как его усовершенствовали.
📍 Как проверяли результаты и какие итоги получили.
Посмотрите, чтобы тоже научиться обходить сетевые эффекты в ваших тестах⬇️
YouTube
RuTube
ВК Видео
Для наглядности: рассмотрим кейс с новым алгоритмом продвижения объявлений, где нам нужно оценить его эффективность. Проблема здесь в том, что тестовый алгоритм неявно вытесняет старое решение: из-за сетевого эффекта продавцы из контроля перестают пользоваться продвижением.
В докладе я показываю, как этого можно избежать.
На этом и других примерах также разбираю:
Посмотрите, чтобы тоже научиться обходить сетевые эффекты в ваших тестах
YouTube
RuTube
ВК Видео
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥25👍8❤4🎄1
Привет! Я Женя, acting Team Lead в монетизации, и сегодня поделюсь кейсами «что пошло не так в A/B-тесте», которые собирала для пар по тестированиям в Вышке.
Кажется, АБ-тесты супер просты: на две группы поделили, результат сравнили, выбрали опцию, где больше основная метрика. Так почему столько аналитиков тратят столько времени на A/B-тесты?
Ловите кейсы из практики. Рекомендую сначала поразгонять, а потом открывать спойлер🤓
1️⃣ Проводили обратный A/B-тест (откатили существующую фичу) с задачей — не увидеть прокрасы выручки. Подготовили мониторинги, запустили тест, прокрасов не обнаружили. Через месяц тест перезапустили. Что могло случиться?
Ответ: не увидели прокрасов, потому что тест не запустили из-за баги 🫠
2️⃣ Запустили A/B-тест, на третий день заметили, что выручка в тестовой группе падает в 2 раза. Куда копать?
Ответ: Старт теста сломал разметку сегмента, на котором он запускался, и часть тестовой аудитории оказалась в другом сегменте, вне мониторинга. На самом деле выручка не пострадала. В продукте сложно придумать продуктовое изменение, которое так сильно скажется на выручке, даже если очень стараться :) Раз падение настолько большое — 95% шанса, что это баг или другая техническая особенность, но не продуктовая.
3️⃣ Тестировали новую фичу. Чтобы увидеть изменения, нужно обновить версию приложения на iOS. Мы предложили это пользователям и отнесли в тестовую группу тех, кто обновился, потому что только они увидели изменения. В контроле была вся аудитория, которую сплиттер определил в контроль. Что мы делали не так?
Ответ: На обновление соглашались более лояльные пользователи, открытые к нашим новинкам, а не общая совокупность. Так, результаты в тесте были сильно завышены.
❤️ — кейсов много, лайк для второй части!
#ЖеняМур
Кажется, АБ-тесты супер просты: на две группы поделили, результат сравнили, выбрали опцию, где больше основная метрика. Так почему столько аналитиков тратят столько времени на A/B-тесты?
Ловите кейсы из практики. Рекомендую сначала поразгонять, а потом открывать спойлер
❤️ — кейсов много, лайк для второй части!
#ЖеняМур
Please open Telegram to view this post
VIEW IN TELEGRAM
❤71🔥15🎄5
Привет! С вами Алина Савельева — тимлид команды монетизации. Хочу показать вам свежий выпуск «Диванной аналитики». В нём рассказываю, что делать, если не получается подобрать метод для тестирования гипотез. Если кратко: сравнивать похожих пользователей, но не напрямую. А чтобы узнать детали, посмотрите видео.
Вот, о чём там говорю:
➡️ Почему нельзя всегда использовать A/B-тесты.
➡️ Что такое фреймворк матчинга и как мы его используем.
➡️ Как валидировать любые фреймворк для оценки гипотез.
Смотрите где удобно:
YouTube
RuTube
ВК Видео
Вот, о чём там говорю:
Смотрите где удобно:
YouTube
RuTube
ВК Видео
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥31❤13👎4🎄2