Всем привет!
Новости к концу года🎙
Моими фокусными площадками для последующих постов на тему CRO и Персонализации становятся LinkedIn и Medium, поэтому здесь писать скорее всего я не буду.
📝 Советую подписаться на эти каналы, основной язык - английский.
LinkedIn
Medium
📝 В свою очередь, на русском языке по нашей тематике я рекомендую читать:
Hard Client и Hard Client Daily от Стаса
Модель атрибуции от Саши
Есть большое количество каналов аналитиков и продактов, но это все не то)
💡 А если вам интересно в целом меня читать, то продолжаю вести свой Telegram-канал Технологии и Люди.
До встречи!
Новости к концу года🎙
Моими фокусными площадками для последующих постов на тему CRO и Персонализации становятся LinkedIn и Medium, поэтому здесь писать скорее всего я не буду.
📝 Советую подписаться на эти каналы, основной язык - английский.
Medium
📝 В свою очередь, на русском языке по нашей тематике я рекомендую читать:
Hard Client и Hard Client Daily от Стаса
Модель атрибуции от Саши
Есть большое количество каналов аналитиков и продактов, но это все не то)
💡 А если вам интересно в целом меня читать, то продолжаю вести свой Telegram-канал Технологии и Люди.
До встречи!
❤5👍1
CRO & Personalization pinned «Всем привет! Новости к концу года🎙 Моими фокусными площадками для последующих постов на тему CRO и Персонализации становятся LinkedIn и Medium, поэтому здесь писать скорее всего я не буду. 📝 Советую подписаться на эти каналы, основной язык - английский.…»
Всем привет !
Почти два года здесь не было новых постов. Я теперь занимаюсь другими проектами (можно почитать в канале Технологии и люди)
А этот канал ждал своего визионера и драйвера.
И дождался 😎
С этого дня я передаю канал энтузиасту сферы CRO, персонализации и экспериментирования - Андрею Андрееву.
Мы давно знакомы, много обсуждали экспертные темы, и я хорошо знаю, сколько исследований и планов у него есть по развитию этой индустрии.
Уверена, что под его лидерством канал получит развитие 👏
Андрей скоро расскажет о себе подробнее 🤩
Почти два года здесь не было новых постов. Я теперь занимаюсь другими проектами (можно почитать в канале Технологии и люди)
А этот канал ждал своего визионера и драйвера.
И дождался 😎
С этого дня я передаю канал энтузиасту сферы CRO, персонализации и экспериментирования - Андрею Андрееву.
Мы давно знакомы, много обсуждали экспертные темы, и я хорошо знаю, сколько исследований и планов у него есть по развитию этой индустрии.
Уверена, что под его лидерством канал получит развитие 👏
Андрей скоро расскажет о себе подробнее 🤩
🔥8👍6❤4👎1
В этом канале — всё о том, как использовать A/B-тестирование, персонализацию и оптимизацию конверсии для роста. Здесь будет теория и практика: кейсы, методологии, разборы гипотез и реальные примеры из проектов.
Будем вместе учиться строить культуру экспериментов и превращать данные в рост
Please open Telegram to view this post
VIEW IN TELEGRAM
👍22❤10🔥10
📈 Как убедить руководство масштабировать A/B-тесты
Если ваш CMO или директор по eCommerce сомневается, стоит ли увеличивать число экспериментов и инвестиции, можно показать ценность тестирования через простую математику.
🔑 Шаг 1. Минимально обнаружимый эффект (MDE)
MDE = 4σ / √n
Это минимальный эффект, который мы можем уверенно зафиксировать.
См. подробнее
🔑 Шаг 2. Компаунд-эффект
Каждый успешный тест накапливает результат:
Uplift % = (1 + (MDE – haircut)) ^ (N × W) – 1
где N — число экспериментов, W — win rate, haircut — поправка на «winner’s curse». Подробнее здесь
⚡ Формула выверена вместе с Роном Кохави.
📊 Пример
• Метрика: ARPU
• MDE = 3%
• 100 тестов в год
• Win rate = 10%
• Haircut = 13%
👉 Прирост без поправки: +34.4%
👉 С поправкой: +29.4%
💡 Вывод
Даже при 10% win rate можно получить около +30% прироста за год.
Этот подход помог мне защитить инвестиции в программу тестирования и убедить руководство в её ценности.
👉 Вы можете подставить свои данные и рассчитать uplift для вашей компании в этом калькуляторе:
Google Sheets калькулятор
Если ваш CMO или директор по eCommerce сомневается, стоит ли увеличивать число экспериментов и инвестиции, можно показать ценность тестирования через простую математику.
🔑 Шаг 1. Минимально обнаружимый эффект (MDE)
MDE = 4σ / √n
Это минимальный эффект, который мы можем уверенно зафиксировать.
См. подробнее
🔑 Шаг 2. Компаунд-эффект
Каждый успешный тест накапливает результат:
Uplift % = (1 + (MDE – haircut)) ^ (N × W) – 1
где N — число экспериментов, W — win rate, haircut — поправка на «winner’s curse». Подробнее здесь
⚡ Формула выверена вместе с Роном Кохави.
📊 Пример
• Метрика: ARPU
• MDE = 3%
• 100 тестов в год
• Win rate = 10%
• Haircut = 13%
👉 Прирост без поправки: +34.4%
👉 С поправкой: +29.4%
💡 Вывод
Даже при 10% win rate можно получить около +30% прироста за год.
Этот подход помог мне защитить инвестиции в программу тестирования и убедить руководство в её ценности.
👉 Вы можете подставить свои данные и рассчитать uplift для вашей компании в этом калькуляторе:
Google Sheets калькулятор
Linkedin
Using the statistical power formula in reverse makes more sense in A/B test settings, that is, in online settings, where you can…
Using the statistical power formula in reverse makes more sense in A/B test settings, that is, in online settings, where you can maximally power experiments.
In RCTs (Randomized Controlled Trials), your goal is to evaluate a drug or vaccine with large…
In RCTs (Randomized Controlled Trials), your goal is to evaluate a drug or vaccine with large…
🔥9❤6👍4
🚀 ЖИВОЙ РАЗБОР САЙТА от экспертов 🎯
Завтра ребята из Oddit устроят живой и безжалостный разбор сайтов. Никакой теории — только практика и рабочие фишки!
Как это будет?
Можно прислать свой сайт (я прислал наш 😁) или лендинги. Они выберут несколько и прямо в эфире покажут:
✅ Что работает идеально
✅ Что можно и нужно улучшить
✅ Как именно это исправить
📅 Дата: 27 августа (среда)
🕐 Время: 20:00 по МСК
Что вы получите от эфира:
🔹 Чек-лист по усилению вашего сайта (если выберут конечно)
🔹 Готовую формулу сайта, который продает
🔹 Личную консультацию от топовых экспертов по CRO и UX
🔗 Ссылка на регистрацию
Завтра ребята из Oddit устроят живой и безжалостный разбор сайтов. Никакой теории — только практика и рабочие фишки!
Как это будет?
Можно прислать свой сайт (я прислал наш 😁) или лендинги. Они выберут несколько и прямо в эфире покажут:
✅ Что работает идеально
✅ Что можно и нужно улучшить
✅ Как именно это исправить
📅 Дата: 27 августа (среда)
🕐 Время: 20:00 по МСК
Что вы получите от эфира:
🔹 Чек-лист по усилению вашего сайта (если выберут конечно)
🔹 Готовую формулу сайта, который продает
🔹 Личную консультацию от топовых экспертов по CRO и UX
🔗 Ссылка на регистрацию
Luma
How We Buy #13 · Zoom · Luma
🚀 Live Website Teardown: How We Buy, Episode 13
We're back!
Join us for a no-BS, live website teardown with our friends at Oddit.
How it works:
During the…
We're back!
Join us for a no-BS, live website teardown with our friends at Oddit.
How it works:
During the…
🔥4👍1🥰1
🛒 Всё больше покупателей чувствуют, что сайты ими манипулируют.
• 63% ощущают давление тактик eCommerce (и только 11% — нет)
• 43% чувствуют себя перегруженными на сайтах
• 83% используют промокоды, хотя готовы были купить и без них
Почему так? Компании чаще фокусируются на краткосрочных продажах и метриках, а не на LTV. Отсюда и хаки вместо устойчивого роста.
📑 Читайте полный отчёт от David Mannheim — автора книги по персонализации и CEO & основателя Made With Intent.
Я уже прошёл всю регистрацию, поэтому делюсь прямой ссылкой:
👉 The Intent Gap Report
А как у вас дела, например, с Retail Media? 😎
• 63% ощущают давление тактик eCommerce (и только 11% — нет)
• 43% чувствуют себя перегруженными на сайтах
• 83% используют промокоды, хотя готовы были купить и без них
Почему так? Компании чаще фокусируются на краткосрочных продажах и метриках, а не на LTV. Отсюда и хаки вместо устойчивого роста.
📑 Читайте полный отчёт от David Mannheim — автора книги по персонализации и CEO & основателя Made With Intent.
Я уже прошёл всю регистрацию, поэтому делюсь прямой ссылкой:
👉 The Intent Gap Report
А как у вас дела, например, с Retail Media? 😎
👍5❤4🔥2
Как вы знаете, никакой рост организации невозможен без её обучения.
Джек Уэлч, председатель и генеральный директор General Electric, как-то сказал: «Способность организации учиться и быстро воплощать полученные знания в жизнь является абсолютным конкурентным преимуществом».
Экспериментирование — это в первую очередь обучение. Каждая гипотеза даёт нам знания, которые мы используем для улучшения продукта и роста.
В прошлом и в этом году я много учился — у экспертов, у книг. Спасибо вам за это 🙏
И я всё яснее понимаю: обучение важно не только для меня, но и для всей организации в целом.
Поэтому я стал приглашать экспертов, которые делились своим опытом с нашей командой. Постепенно это выросло в большой проект, и я решил сделать его открытым для всех, кто хочет расти и получать новые знания, чтобы применять их для роста своего бизнеса.
Кто уже выступил внутри METRO:
Виталий Черемисинов, СЕО и сооснователь EXPF — «Про А/Б тесты»
Анна Сенькова, Руководитель отдела роста Gravity Field — «Сегментация пользователей»
Дмитрий Некрасов, сооснователь jetmetrics.io — «Почему цифры растут, а продажи — нет»
Ждём в сентябре уже всех желающих (будет приглашение отдельным постом):
Альберт Яралиев, СЕО и сооснователь Gravity Field — «Геймификация как драйвер роста e-commerce»
✨ Если вы хотите тоже поделиться своей экспертизой — буду рад! Календарь уже занят до февраля 2026 включительно.
Формат: 1 час, онлайн. Пишите в личные сообщения.
Джек Уэлч, председатель и генеральный директор General Electric, как-то сказал: «Способность организации учиться и быстро воплощать полученные знания в жизнь является абсолютным конкурентным преимуществом».
Экспериментирование — это в первую очередь обучение. Каждая гипотеза даёт нам знания, которые мы используем для улучшения продукта и роста.
В прошлом и в этом году я много учился — у экспертов, у книг. Спасибо вам за это 🙏
И я всё яснее понимаю: обучение важно не только для меня, но и для всей организации в целом.
Поэтому я стал приглашать экспертов, которые делились своим опытом с нашей командой. Постепенно это выросло в большой проект, и я решил сделать его открытым для всех, кто хочет расти и получать новые знания, чтобы применять их для роста своего бизнеса.
Кто уже выступил внутри METRO:
Виталий Черемисинов, СЕО и сооснователь EXPF — «Про А/Б тесты»
Анна Сенькова, Руководитель отдела роста Gravity Field — «Сегментация пользователей»
Дмитрий Некрасов, сооснователь jetmetrics.io — «Почему цифры растут, а продажи — нет»
Ждём в сентябре уже всех желающих (будет приглашение отдельным постом):
Альберт Яралиев, СЕО и сооснователь Gravity Field — «Геймификация как драйвер роста e-commerce»
✨ Если вы хотите тоже поделиться своей экспертизой — буду рад! Календарь уже занят до февраля 2026 включительно.
Формат: 1 час, онлайн. Пишите в личные сообщения.
❤3👍3
Media is too big
VIEW IN TELEGRAM
Коллеги, также делюсь презентацией и записью с недавнего вебинара Дмитрия Некрасова. 🚀 Тема настолько прорывная, что Mixpanel уже внедрили Metrics Trees в своё обновление!
🔗 Смотрите сами: Mixpanel Metrics Trees
📑 Презентация Дмитрия с подробным разбором: ссылка
📢 Канал Дмитрия с аналитикой и разбором кейсов: @jetmetrics
Почему это важно:
Metrics Trees помогают связать ключевые метрики с их драйверами и факторами, находить узкие места и строить аналитику более системно.
❓Вопрос к вам: используете ли вы Metrics Trees в своей аналитике? Если да — как внедряете и на каких задачах?
#learnings
🔗 Смотрите сами: Mixpanel Metrics Trees
📑 Презентация Дмитрия с подробным разбором: ссылка
📢 Канал Дмитрия с аналитикой и разбором кейсов: @jetmetrics
Почему это важно:
Metrics Trees помогают связать ключевые метрики с их драйверами и факторами, находить узкие места и строить аналитику более системно.
❓Вопрос к вам: используете ли вы Metrics Trees в своей аналитике? Если да — как внедряете и на каких задачах?
#learnings
🔥3👍2
🚀 A/B тестирование поиска и рекомендаций: Искусство, наука и математика
Даже самые продвинутые AI-алгоритмы ранжирования не отменяют необходимость точечных экспериментов. Правильные A/B тесты в поиске, автодополнении, навигации и рекомендациях напрямую ведут к росту выручки.
Constructor - это платформа поиска и продукт-дискавери для интернет-магазинов, которая помогает таким брендам, как Sephora и Backcountry, увеличивать конверсию с помощью AI.
Они подготовили исчерпывающее руководство, в котором собрали весь их опыт проведения экспериментов:
🔹 Почему это критически важно?
🔹 Что именно тестировать мерчендайзерам и продуктологам?
🔹 Как проводить валидные тесты и правильно интерпретировать результаты?
🔹 Готовые идеи для тестов across Search, Autocomplete, Browse и Recommendations
Это must-read для любого, кто хочет принимать решения о UX на основе данных, а не догадок.
📖 Скачать полный гайд можно по ссылке
(я уже прошел всю регистрацию😎)
Даже самые продвинутые AI-алгоритмы ранжирования не отменяют необходимость точечных экспериментов. Правильные A/B тесты в поиске, автодополнении, навигации и рекомендациях напрямую ведут к росту выручки.
Constructor - это платформа поиска и продукт-дискавери для интернет-магазинов, которая помогает таким брендам, как Sephora и Backcountry, увеличивать конверсию с помощью AI.
Они подготовили исчерпывающее руководство, в котором собрали весь их опыт проведения экспериментов:
🔹 Почему это критически важно?
🔹 Что именно тестировать мерчендайзерам и продуктологам?
🔹 Как проводить валидные тесты и правильно интерпретировать результаты?
🔹 Готовые идеи для тестов across Search, Autocomplete, Browse и Recommendations
Это must-read для любого, кто хочет принимать решения о UX на основе данных, а не догадок.
📖 Скачать полный гайд можно по ссылке
(я уже прошел всю регистрацию😎)
🔥4
🚀 Результаты A/B-теста изменения текста на сборщике Email
Проверили, как новый текст влияет на кликабельность. Вот что получилось:
✅ Variation 1: +42% к кликам
✅ Variation 2: +30% к кликам
Оба варианта значительно обогнали контрольную группу.
Но есть нюанс: 💰 На денежные метрики изменения не повлияли - статистической значимости нет.
Вывод: текст важен для вовлечения, но одного его недостаточно для роста доходов.
#абтестирование #эксперименты
Проверили, как новый текст влияет на кликабельность. Вот что получилось:
✅ Variation 1: +42% к кликам
✅ Variation 2: +30% к кликам
Оба варианта значительно обогнали контрольную группу.
Но есть нюанс: 💰 На денежные метрики изменения не повлияли - статистической значимости нет.
Вывод: текст важен для вовлечения, но одного его недостаточно для роста доходов.
#абтестирование #эксперименты
🔥2👏1😢1
Наш текущий ритм — это 8-9 запускаемых гипотез в месяц. Скорее всего, сейчас это наш предел. При этом суровая реальность такова, что успешными оказываются менее 10% из них.
Со временем количество одновременных тестов на проде исчисляется десятками. Рано или поздно возникает ключевой вопрос: а не мешают ли наши эксперименты друг другу? Мы достигаем точки, где риски пересечения тестов и их взаимного влияния становятся реальной проблемой, способной искажать результаты и принимать неверные решения (см. скриншот).
Существует три основные стратегии, чтобы масштабировать экспериментирование без потери точности:
1️⃣ Перекрывающиеся тесты (запускаем всё и сразу)
✅ Высокая скорость, много данных
❌ Риск взаимодействий, сложная интерпретация
2️⃣ Последовательные тесты (запускаем по очереди)
✅ Чистота результатов, никаких помех
❌ Очень медленно, меньше экспериментов
3️⃣ Изолированные тесты (делим аудиторию на сегменты)
✅ Идеальная чистота, простота анализа
❌ Нужна огромная аудитория, нет гибкости
А вот мнения ведущих специалистов в этой области:
- Ron Kochavi
- Timothy Chan (Statsig): сильные взаимодействия редки, поэтому overlapping-тесты — это мощный инструмент масштаба для таких компаний, как Facebook и Google. Подробнее
- Исследование Microsoft: интерференция в A/B-тестах встречается реже, чем принято думать. Подробнее
- Lukas Vermeer: предлагает системные методы дляdetection (обнаружения) взаимодействий, что критично в сложных средах. Подробнее
🌝 Бонус
Как запускать много тестов одновременно: избегание и обнаружение взаимодействий (How to run many tests at once: interaction avoidance & detection)
Офигенный митап от Лукаса Вермеера в Test & Learn Community
Со временем количество одновременных тестов на проде исчисляется десятками. Рано или поздно возникает ключевой вопрос: а не мешают ли наши эксперименты друг другу? Мы достигаем точки, где риски пересечения тестов и их взаимного влияния становятся реальной проблемой, способной искажать результаты и принимать неверные решения (см. скриншот).
Существует три основные стратегии, чтобы масштабировать экспериментирование без потери точности:
1️⃣ Перекрывающиеся тесты (запускаем всё и сразу)
✅ Высокая скорость, много данных
❌ Риск взаимодействий, сложная интерпретация
2️⃣ Последовательные тесты (запускаем по очереди)
✅ Чистота результатов, никаких помех
❌ Очень медленно, меньше экспериментов
3️⃣ Изолированные тесты (делим аудиторию на сегменты)
✅ Идеальная чистота, простота анализа
❌ Нужна огромная аудитория, нет гибкости
А вот мнения ведущих специалистов в этой области:
- Ron Kochavi
Параллельное проведение A/B-тестов необходимо для масштабирования. Многие организации не решаются проводить эксперименты одновременно, опасаясь их взаимодействия, но эти опасения сильно преувеличены:
· Параллельное тестирование необходимо для масштабирования
· Серьёзные взаимодействия на практике встречаются редко
· Большинство опасений не имеют под собой оснований
В статье я привожу примеры антагонистического и синергетического взаимодействия, рассказываю, как их обнаружить, и почему ведущие компании безопасно проводят тысячи параллельных экспериментов.
- Timothy Chan (Statsig): сильные взаимодействия редки, поэтому overlapping-тесты — это мощный инструмент масштаба для таких компаний, как Facebook и Google. Подробнее
- Исследование Microsoft: интерференция в A/B-тестах встречается реже, чем принято думать. Подробнее
- Lukas Vermeer: предлагает системные методы дляdetection (обнаружения) взаимодействий, что критично в сложных средах. Подробнее
🌝 Бонус
Как запускать много тестов одновременно: избегание и обнаружение взаимодействий (How to run many tests at once: interaction avoidance & detection)
Офигенный митап от Лукаса Вермеера в Test & Learn Community
Google Docs
2025-08-31 GuideToABTestingInteractions.docx
Guide to A/B Testing Interactions Ronny Kohavi 31 Aug 2025 TL; DR: Concerns about interactions are common but often overstated. Concurrent experimentation is necessary to scale, and strong interactions are rare in practice. You should raise awareness of…
👍3
🎯 Какой оффер мотивирует кликнуть на баннер?
Мы протестировали несколько вариантов:
–500 ₽ (контроль)
Бесплатная доставка
–800 ₽
–20%
📊 Результаты по CTR:
–800 ₽: +61% (лучший результат)
–20%: почти без изменений
Бесплатная доставка: –19% (хуже контроля)
👉 Вывод: фиксированная денежная выгода воспринимается пользователями гораздо сильнее, чем бесплатная доставка или процентная скидка.
#абтестирование #эксперименты
Мы протестировали несколько вариантов:
–500 ₽ (контроль)
Бесплатная доставка
–800 ₽
–20%
📊 Результаты по CTR:
–800 ₽: +61% (лучший результат)
–20%: почти без изменений
Бесплатная доставка: –19% (хуже контроля)
👉 Вывод: фиксированная денежная выгода воспринимается пользователями гораздо сильнее, чем бесплатная доставка или процентная скидка.
#абтестирование #эксперименты
❤7👍5
the-big-book-of-personalization-2024-v5.pdf
2.7 MB
📌 Персонализация в действии
Сегодня мало просто делать хороший продукт или удобный сайт. Клиенты ждут, что с ними будут общаться как с людьми, а не как с номерами в базе.
🔑 Факты из отчёта:
* 89% бизнес-лидеров считают персонализацию ключом к успеху.
* 84% покупателей важно чувствовать личное отношение.
* 76% чаще покупают при персонализированной коммуникации.
И это не просто теория.
* News UK увеличили подписки на 39%, оптимизировав paywall и рекомендации.
* Brooks Running снизили возвраты на 80% благодаря подсказкам по размеру обуви.
* New Era Cap выросли на +60% YoY в онлайн-продажах, сделав персонализацию центром digital-стратегии.
* Australian Red Cross увеличил доходы на 2800%, трансформировав донорский путь с персональными рекомендациями и автоматизацией.
📈 Вывод: персонализация - не "nice to have". Это стратегический приоритет, напрямую влияющий на доходы и лояльность.
❓А вы уже внедрили персонализацию или пока думаете?
Сегодня мало просто делать хороший продукт или удобный сайт. Клиенты ждут, что с ними будут общаться как с людьми, а не как с номерами в базе.
🔑 Факты из отчёта:
* 89% бизнес-лидеров считают персонализацию ключом к успеху.
* 84% покупателей важно чувствовать личное отношение.
* 76% чаще покупают при персонализированной коммуникации.
И это не просто теория.
* News UK увеличили подписки на 39%, оптимизировав paywall и рекомендации.
* Brooks Running снизили возвраты на 80% благодаря подсказкам по размеру обуви.
* New Era Cap выросли на +60% YoY в онлайн-продажах, сделав персонализацию центром digital-стратегии.
* Australian Red Cross увеличил доходы на 2800%, трансформировав донорский путь с персональными рекомендациями и автоматизацией.
📈 Вывод: персонализация - не "nice to have". Это стратегический приоритет, напрямую влияющий на доходы и лояльность.
❓А вы уже внедрили персонализацию или пока думаете?
👍3❤1
🔥 Новый эксперимент: с рекомендациями в футере
Провели A/B-тест по внедрению рекомендаций в футере сайта - по аналогии с culturekings.com
Что тестировали:
• Рекомендации товаров в подвале сайта
• Улучшение пользовательского опыта
• Влияние на конверсию в покупки
Результаты:
📊 Конверсия осталась на прежнем уровне - 3.25%
📈 Uplift составил всего +0.14% (в пределах погрешности)
🎯 Вероятность превосходства над контролем - 45.75%
#абтестирование #эксперименты
Провели A/B-тест по внедрению рекомендаций в футере сайта - по аналогии с culturekings.com
Что тестировали:
• Рекомендации товаров в подвале сайта
• Улучшение пользовательского опыта
• Влияние на конверсию в покупки
Результаты:
📊 Конверсия осталась на прежнем уровне - 3.25%
📈 Uplift составил всего +0.14% (в пределах погрешности)
🎯 Вероятность превосходства над контролем - 45.75%
#абтестирование #эксперименты
👏5🤔2
🏎️ Скорость решает всё. Даже доверие.
Пост от CEO Ben Labay, Speero
Оригинал на LinkedIn
Когда команда начинает ship-ить быстрее, всё меняется:
1️⃣ Появляется доверие - дела важнее споров.
2️⃣ Упрощается сложность - действием, а не моделями.
3️⃣ Исчезает политика - данные решают, а не громкие голоса.
4️⃣ Видны реальные узкие места - метрики, процессы, владельцы.
5️⃣ Дебаты превращаются в факты - ship it and learn.
6️⃣ Меньший масштаб = меньше страха и быстрее обучение.
7️⃣ Стратегия становится циклом обратной связи, а не статикой.
8️⃣ Команда показывает лидерство и уверенность.
🙋Частый вопрос: а что если запустить не то?
Ответ: если судить по отдельным тестам - да, риск есть. Но если смотреть на систему, то скорость = больше маленьких, умных и быстрых запусков. Это культура, где процесс позволяет в 2-5 раз ускориться без увеличения команды.
Что думаете? Есть ли метрика, которая лучше отражает успех экспериментирования?
Пост от CEO Ben Labay, Speero
Оригинал на LinkedIn
Я часто повторяю: velocity - главная метрика. Но многие спорят. На мой взгляд - зря.
Ошибка индустрии в том, что эксперименты стали "чекбоксом", а не образом мышления. Считают идеи, спорят о "победах" и "поражениях"... хотя ценность - в системе, которая создаёт результаты.
Когда команда начинает ship-ить быстрее, всё меняется:
1️⃣ Появляется доверие - дела важнее споров.
2️⃣ Упрощается сложность - действием, а не моделями.
3️⃣ Исчезает политика - данные решают, а не громкие голоса.
4️⃣ Видны реальные узкие места - метрики, процессы, владельцы.
5️⃣ Дебаты превращаются в факты - ship it and learn.
6️⃣ Меньший масштаб = меньше страха и быстрее обучение.
7️⃣ Стратегия становится циклом обратной связи, а не статикой.
8️⃣ Команда показывает лидерство и уверенность.
🙋Частый вопрос: а что если запустить не то?
Ответ: если судить по отдельным тестам - да, риск есть. Но если смотреть на систему, то скорость = больше маленьких, умных и быстрых запусков. Это культура, где процесс позволяет в 2-5 раз ускориться без увеличения команды.
Что думаете? Есть ли метрика, которая лучше отражает успех экспериментирования?
Linkedin
Why Velocity Is My #1 Metric for Trust and Success | Ben Labay posted on the topic | LinkedIn
Shipping Solves Everything. Even Trust. Here’s Why Velocity Is My #1 Metric.
I keep saying it—and people keep pushing back. But I haven’t heard a good argument 𝘢𝘨𝘢𝘪𝘯𝘴𝘵 velocity when you treat it as a 𝘀𝘆𝘀𝘁𝗲𝗺, not a scorecard.
The core issue in our industry…
I keep saying it—and people keep pushing back. But I haven’t heard a good argument 𝘢𝘨𝘢𝘪𝘯𝘴𝘵 velocity when you treat it as a 𝘀𝘆𝘀𝘁𝗲𝗺, not a scorecard.
The core issue in our industry…
👍4
🔥 Результаты А/B теста: показ промокода в меню каталога
Мы протестировали гипотезу - будет ли эффективным размещение промокода в меню каталога для новых мобильных пользователей.
Что проверили:
👀 Показ промокода в интерфейсе каталога
📱 Сегмент: новые пользователи на мобильных устройствах
Цифры:
CTR промокода - 1,62%
В среднем промокод применяли 1 раз
Итог:
❌ На денежные метрики - нет значимого влияния.
Конверсия в покупки в тестовой и контрольной группах практически не отличается.
Вывод:
Гипотеза не подтвердилась. Решили не запускать эту фичу - она не приносит дополнительной прибыли. Продолжаем искать более эффективные способы повышения конверсии.
#абтестирование #эксперименты
Мы протестировали гипотезу - будет ли эффективным размещение промокода в меню каталога для новых мобильных пользователей.
Что проверили:
👀 Показ промокода в интерфейсе каталога
📱 Сегмент: новые пользователи на мобильных устройствах
Цифры:
CTR промокода - 1,62%
В среднем промокод применяли 1 раз
Итог:
❌ На денежные метрики - нет значимого влияния.
Конверсия в покупки в тестовой и контрольной группах практически не отличается.
Вывод:
Гипотеза не подтвердилась. Решили не запускать эту фичу - она не приносит дополнительной прибыли. Продолжаем искать более эффективные способы повышения конверсии.
#абтестирование #эксперименты
🔥8❤2