Как вы знаете, никакой рост организации невозможен без её обучения.
Джек Уэлч, председатель и генеральный директор General Electric, как-то сказал: «Способность организации учиться и быстро воплощать полученные знания в жизнь является абсолютным конкурентным преимуществом».
Экспериментирование — это в первую очередь обучение. Каждая гипотеза даёт нам знания, которые мы используем для улучшения продукта и роста.
В прошлом и в этом году я много учился — у экспертов, у книг. Спасибо вам за это 🙏
И я всё яснее понимаю: обучение важно не только для меня, но и для всей организации в целом.
Поэтому я стал приглашать экспертов, которые делились своим опытом с нашей командой. Постепенно это выросло в большой проект, и я решил сделать его открытым для всех, кто хочет расти и получать новые знания, чтобы применять их для роста своего бизнеса.
Кто уже выступил внутри METRO:
Виталий Черемисинов, СЕО и сооснователь EXPF — «Про А/Б тесты»
Анна Сенькова, Руководитель отдела роста Gravity Field — «Сегментация пользователей»
Дмитрий Некрасов, сооснователь jetmetrics.io — «Почему цифры растут, а продажи — нет»
Ждём в сентябре уже всех желающих (будет приглашение отдельным постом):
Альберт Яралиев, СЕО и сооснователь Gravity Field — «Геймификация как драйвер роста e-commerce»
✨ Если вы хотите тоже поделиться своей экспертизой — буду рад! Календарь уже занят до февраля 2026 включительно.
Формат: 1 час, онлайн. Пишите в личные сообщения.
Джек Уэлч, председатель и генеральный директор General Electric, как-то сказал: «Способность организации учиться и быстро воплощать полученные знания в жизнь является абсолютным конкурентным преимуществом».
Экспериментирование — это в первую очередь обучение. Каждая гипотеза даёт нам знания, которые мы используем для улучшения продукта и роста.
В прошлом и в этом году я много учился — у экспертов, у книг. Спасибо вам за это 🙏
И я всё яснее понимаю: обучение важно не только для меня, но и для всей организации в целом.
Поэтому я стал приглашать экспертов, которые делились своим опытом с нашей командой. Постепенно это выросло в большой проект, и я решил сделать его открытым для всех, кто хочет расти и получать новые знания, чтобы применять их для роста своего бизнеса.
Кто уже выступил внутри METRO:
Виталий Черемисинов, СЕО и сооснователь EXPF — «Про А/Б тесты»
Анна Сенькова, Руководитель отдела роста Gravity Field — «Сегментация пользователей»
Дмитрий Некрасов, сооснователь jetmetrics.io — «Почему цифры растут, а продажи — нет»
Ждём в сентябре уже всех желающих (будет приглашение отдельным постом):
Альберт Яралиев, СЕО и сооснователь Gravity Field — «Геймификация как драйвер роста e-commerce»
✨ Если вы хотите тоже поделиться своей экспертизой — буду рад! Календарь уже занят до февраля 2026 включительно.
Формат: 1 час, онлайн. Пишите в личные сообщения.
❤3👍3
Media is too big
VIEW IN TELEGRAM
Коллеги, также делюсь презентацией и записью с недавнего вебинара Дмитрия Некрасова. 🚀 Тема настолько прорывная, что Mixpanel уже внедрили Metrics Trees в своё обновление!
🔗 Смотрите сами: Mixpanel Metrics Trees
📑 Презентация Дмитрия с подробным разбором: ссылка
📢 Канал Дмитрия с аналитикой и разбором кейсов: @jetmetrics
Почему это важно:
Metrics Trees помогают связать ключевые метрики с их драйверами и факторами, находить узкие места и строить аналитику более системно.
❓Вопрос к вам: используете ли вы Metrics Trees в своей аналитике? Если да — как внедряете и на каких задачах?
#learnings
🔗 Смотрите сами: Mixpanel Metrics Trees
📑 Презентация Дмитрия с подробным разбором: ссылка
📢 Канал Дмитрия с аналитикой и разбором кейсов: @jetmetrics
Почему это важно:
Metrics Trees помогают связать ключевые метрики с их драйверами и факторами, находить узкие места и строить аналитику более системно.
❓Вопрос к вам: используете ли вы Metrics Trees в своей аналитике? Если да — как внедряете и на каких задачах?
#learnings
🔥3👍2
🚀 A/B тестирование поиска и рекомендаций: Искусство, наука и математика
Даже самые продвинутые AI-алгоритмы ранжирования не отменяют необходимость точечных экспериментов. Правильные A/B тесты в поиске, автодополнении, навигации и рекомендациях напрямую ведут к росту выручки.
Constructor - это платформа поиска и продукт-дискавери для интернет-магазинов, которая помогает таким брендам, как Sephora и Backcountry, увеличивать конверсию с помощью AI.
Они подготовили исчерпывающее руководство, в котором собрали весь их опыт проведения экспериментов:
🔹 Почему это критически важно?
🔹 Что именно тестировать мерчендайзерам и продуктологам?
🔹 Как проводить валидные тесты и правильно интерпретировать результаты?
🔹 Готовые идеи для тестов across Search, Autocomplete, Browse и Recommendations
Это must-read для любого, кто хочет принимать решения о UX на основе данных, а не догадок.
📖 Скачать полный гайд можно по ссылке
(я уже прошел всю регистрацию😎)
Даже самые продвинутые AI-алгоритмы ранжирования не отменяют необходимость точечных экспериментов. Правильные A/B тесты в поиске, автодополнении, навигации и рекомендациях напрямую ведут к росту выручки.
Constructor - это платформа поиска и продукт-дискавери для интернет-магазинов, которая помогает таким брендам, как Sephora и Backcountry, увеличивать конверсию с помощью AI.
Они подготовили исчерпывающее руководство, в котором собрали весь их опыт проведения экспериментов:
🔹 Почему это критически важно?
🔹 Что именно тестировать мерчендайзерам и продуктологам?
🔹 Как проводить валидные тесты и правильно интерпретировать результаты?
🔹 Готовые идеи для тестов across Search, Autocomplete, Browse и Recommendations
Это must-read для любого, кто хочет принимать решения о UX на основе данных, а не догадок.
📖 Скачать полный гайд можно по ссылке
(я уже прошел всю регистрацию😎)
🔥4
🚀 Результаты A/B-теста изменения текста на сборщике Email
Проверили, как новый текст влияет на кликабельность. Вот что получилось:
✅ Variation 1: +42% к кликам
✅ Variation 2: +30% к кликам
Оба варианта значительно обогнали контрольную группу.
Но есть нюанс: 💰 На денежные метрики изменения не повлияли - статистической значимости нет.
Вывод: текст важен для вовлечения, но одного его недостаточно для роста доходов.
#абтестирование #эксперименты
Проверили, как новый текст влияет на кликабельность. Вот что получилось:
✅ Variation 1: +42% к кликам
✅ Variation 2: +30% к кликам
Оба варианта значительно обогнали контрольную группу.
Но есть нюанс: 💰 На денежные метрики изменения не повлияли - статистической значимости нет.
Вывод: текст важен для вовлечения, но одного его недостаточно для роста доходов.
#абтестирование #эксперименты
🔥2👏1😢1
Наш текущий ритм — это 8-9 запускаемых гипотез в месяц. Скорее всего, сейчас это наш предел. При этом суровая реальность такова, что успешными оказываются менее 10% из них.
Со временем количество одновременных тестов на проде исчисляется десятками. Рано или поздно возникает ключевой вопрос: а не мешают ли наши эксперименты друг другу? Мы достигаем точки, где риски пересечения тестов и их взаимного влияния становятся реальной проблемой, способной искажать результаты и принимать неверные решения (см. скриншот).
Существует три основные стратегии, чтобы масштабировать экспериментирование без потери точности:
1️⃣ Перекрывающиеся тесты (запускаем всё и сразу)
✅ Высокая скорость, много данных
❌ Риск взаимодействий, сложная интерпретация
2️⃣ Последовательные тесты (запускаем по очереди)
✅ Чистота результатов, никаких помех
❌ Очень медленно, меньше экспериментов
3️⃣ Изолированные тесты (делим аудиторию на сегменты)
✅ Идеальная чистота, простота анализа
❌ Нужна огромная аудитория, нет гибкости
А вот мнения ведущих специалистов в этой области:
- Ron Kochavi
- Timothy Chan (Statsig): сильные взаимодействия редки, поэтому overlapping-тесты — это мощный инструмент масштаба для таких компаний, как Facebook и Google. Подробнее
- Исследование Microsoft: интерференция в A/B-тестах встречается реже, чем принято думать. Подробнее
- Lukas Vermeer: предлагает системные методы дляdetection (обнаружения) взаимодействий, что критично в сложных средах. Подробнее
🌝 Бонус
Как запускать много тестов одновременно: избегание и обнаружение взаимодействий (How to run many tests at once: interaction avoidance & detection)
Офигенный митап от Лукаса Вермеера в Test & Learn Community
Со временем количество одновременных тестов на проде исчисляется десятками. Рано или поздно возникает ключевой вопрос: а не мешают ли наши эксперименты друг другу? Мы достигаем точки, где риски пересечения тестов и их взаимного влияния становятся реальной проблемой, способной искажать результаты и принимать неверные решения (см. скриншот).
Существует три основные стратегии, чтобы масштабировать экспериментирование без потери точности:
1️⃣ Перекрывающиеся тесты (запускаем всё и сразу)
✅ Высокая скорость, много данных
❌ Риск взаимодействий, сложная интерпретация
2️⃣ Последовательные тесты (запускаем по очереди)
✅ Чистота результатов, никаких помех
❌ Очень медленно, меньше экспериментов
3️⃣ Изолированные тесты (делим аудиторию на сегменты)
✅ Идеальная чистота, простота анализа
❌ Нужна огромная аудитория, нет гибкости
А вот мнения ведущих специалистов в этой области:
- Ron Kochavi
Параллельное проведение A/B-тестов необходимо для масштабирования. Многие организации не решаются проводить эксперименты одновременно, опасаясь их взаимодействия, но эти опасения сильно преувеличены:
· Параллельное тестирование необходимо для масштабирования
· Серьёзные взаимодействия на практике встречаются редко
· Большинство опасений не имеют под собой оснований
В статье я привожу примеры антагонистического и синергетического взаимодействия, рассказываю, как их обнаружить, и почему ведущие компании безопасно проводят тысячи параллельных экспериментов.
- Timothy Chan (Statsig): сильные взаимодействия редки, поэтому overlapping-тесты — это мощный инструмент масштаба для таких компаний, как Facebook и Google. Подробнее
- Исследование Microsoft: интерференция в A/B-тестах встречается реже, чем принято думать. Подробнее
- Lukas Vermeer: предлагает системные методы дляdetection (обнаружения) взаимодействий, что критично в сложных средах. Подробнее
🌝 Бонус
Как запускать много тестов одновременно: избегание и обнаружение взаимодействий (How to run many tests at once: interaction avoidance & detection)
Офигенный митап от Лукаса Вермеера в Test & Learn Community
Google Docs
2025-08-31 GuideToABTestingInteractions.docx
Guide to A/B Testing Interactions Ronny Kohavi 31 Aug 2025 TL; DR: Concerns about interactions are common but often overstated. Concurrent experimentation is necessary to scale, and strong interactions are rare in practice. You should raise awareness of…
👍3
🎯 Какой оффер мотивирует кликнуть на баннер?
Мы протестировали несколько вариантов:
–500 ₽ (контроль)
Бесплатная доставка
–800 ₽
–20%
📊 Результаты по CTR:
–800 ₽: +61% (лучший результат)
–20%: почти без изменений
Бесплатная доставка: –19% (хуже контроля)
👉 Вывод: фиксированная денежная выгода воспринимается пользователями гораздо сильнее, чем бесплатная доставка или процентная скидка.
#абтестирование #эксперименты
Мы протестировали несколько вариантов:
–500 ₽ (контроль)
Бесплатная доставка
–800 ₽
–20%
📊 Результаты по CTR:
–800 ₽: +61% (лучший результат)
–20%: почти без изменений
Бесплатная доставка: –19% (хуже контроля)
👉 Вывод: фиксированная денежная выгода воспринимается пользователями гораздо сильнее, чем бесплатная доставка или процентная скидка.
#абтестирование #эксперименты
❤7👍5
the-big-book-of-personalization-2024-v5.pdf
2.7 MB
📌 Персонализация в действии
Сегодня мало просто делать хороший продукт или удобный сайт. Клиенты ждут, что с ними будут общаться как с людьми, а не как с номерами в базе.
🔑 Факты из отчёта:
* 89% бизнес-лидеров считают персонализацию ключом к успеху.
* 84% покупателей важно чувствовать личное отношение.
* 76% чаще покупают при персонализированной коммуникации.
И это не просто теория.
* News UK увеличили подписки на 39%, оптимизировав paywall и рекомендации.
* Brooks Running снизили возвраты на 80% благодаря подсказкам по размеру обуви.
* New Era Cap выросли на +60% YoY в онлайн-продажах, сделав персонализацию центром digital-стратегии.
* Australian Red Cross увеличил доходы на 2800%, трансформировав донорский путь с персональными рекомендациями и автоматизацией.
📈 Вывод: персонализация - не "nice to have". Это стратегический приоритет, напрямую влияющий на доходы и лояльность.
❓А вы уже внедрили персонализацию или пока думаете?
Сегодня мало просто делать хороший продукт или удобный сайт. Клиенты ждут, что с ними будут общаться как с людьми, а не как с номерами в базе.
🔑 Факты из отчёта:
* 89% бизнес-лидеров считают персонализацию ключом к успеху.
* 84% покупателей важно чувствовать личное отношение.
* 76% чаще покупают при персонализированной коммуникации.
И это не просто теория.
* News UK увеличили подписки на 39%, оптимизировав paywall и рекомендации.
* Brooks Running снизили возвраты на 80% благодаря подсказкам по размеру обуви.
* New Era Cap выросли на +60% YoY в онлайн-продажах, сделав персонализацию центром digital-стратегии.
* Australian Red Cross увеличил доходы на 2800%, трансформировав донорский путь с персональными рекомендациями и автоматизацией.
📈 Вывод: персонализация - не "nice to have". Это стратегический приоритет, напрямую влияющий на доходы и лояльность.
❓А вы уже внедрили персонализацию или пока думаете?
👍3❤1
🔥 Новый эксперимент: с рекомендациями в футере
Провели A/B-тест по внедрению рекомендаций в футере сайта - по аналогии с culturekings.com
Что тестировали:
• Рекомендации товаров в подвале сайта
• Улучшение пользовательского опыта
• Влияние на конверсию в покупки
Результаты:
📊 Конверсия осталась на прежнем уровне - 3.25%
📈 Uplift составил всего +0.14% (в пределах погрешности)
🎯 Вероятность превосходства над контролем - 45.75%
#абтестирование #эксперименты
Провели A/B-тест по внедрению рекомендаций в футере сайта - по аналогии с culturekings.com
Что тестировали:
• Рекомендации товаров в подвале сайта
• Улучшение пользовательского опыта
• Влияние на конверсию в покупки
Результаты:
📊 Конверсия осталась на прежнем уровне - 3.25%
📈 Uplift составил всего +0.14% (в пределах погрешности)
🎯 Вероятность превосходства над контролем - 45.75%
#абтестирование #эксперименты
👏5🤔2
🏎️ Скорость решает всё. Даже доверие.
Пост от CEO Ben Labay, Speero
Оригинал на LinkedIn
Когда команда начинает ship-ить быстрее, всё меняется:
1️⃣ Появляется доверие - дела важнее споров.
2️⃣ Упрощается сложность - действием, а не моделями.
3️⃣ Исчезает политика - данные решают, а не громкие голоса.
4️⃣ Видны реальные узкие места - метрики, процессы, владельцы.
5️⃣ Дебаты превращаются в факты - ship it and learn.
6️⃣ Меньший масштаб = меньше страха и быстрее обучение.
7️⃣ Стратегия становится циклом обратной связи, а не статикой.
8️⃣ Команда показывает лидерство и уверенность.
🙋Частый вопрос: а что если запустить не то?
Ответ: если судить по отдельным тестам - да, риск есть. Но если смотреть на систему, то скорость = больше маленьких, умных и быстрых запусков. Это культура, где процесс позволяет в 2-5 раз ускориться без увеличения команды.
Что думаете? Есть ли метрика, которая лучше отражает успех экспериментирования?
Пост от CEO Ben Labay, Speero
Оригинал на LinkedIn
Я часто повторяю: velocity - главная метрика. Но многие спорят. На мой взгляд - зря.
Ошибка индустрии в том, что эксперименты стали "чекбоксом", а не образом мышления. Считают идеи, спорят о "победах" и "поражениях"... хотя ценность - в системе, которая создаёт результаты.
Когда команда начинает ship-ить быстрее, всё меняется:
1️⃣ Появляется доверие - дела важнее споров.
2️⃣ Упрощается сложность - действием, а не моделями.
3️⃣ Исчезает политика - данные решают, а не громкие голоса.
4️⃣ Видны реальные узкие места - метрики, процессы, владельцы.
5️⃣ Дебаты превращаются в факты - ship it and learn.
6️⃣ Меньший масштаб = меньше страха и быстрее обучение.
7️⃣ Стратегия становится циклом обратной связи, а не статикой.
8️⃣ Команда показывает лидерство и уверенность.
🙋Частый вопрос: а что если запустить не то?
Ответ: если судить по отдельным тестам - да, риск есть. Но если смотреть на систему, то скорость = больше маленьких, умных и быстрых запусков. Это культура, где процесс позволяет в 2-5 раз ускориться без увеличения команды.
Что думаете? Есть ли метрика, которая лучше отражает успех экспериментирования?
Linkedin
Why Velocity Is My #1 Metric for Trust and Success | Ben Labay posted on the topic | LinkedIn
Shipping Solves Everything. Even Trust. Here’s Why Velocity Is My #1 Metric.
I keep saying it—and people keep pushing back. But I haven’t heard a good argument 𝘢𝘨𝘢𝘪𝘯𝘴𝘵 velocity when you treat it as a 𝘀𝘆𝘀𝘁𝗲𝗺, not a scorecard.
The core issue in our industry…
I keep saying it—and people keep pushing back. But I haven’t heard a good argument 𝘢𝘨𝘢𝘪𝘯𝘴𝘵 velocity when you treat it as a 𝘀𝘆𝘀𝘁𝗲𝗺, not a scorecard.
The core issue in our industry…
👍4
🔥 Результаты А/B теста: показ промокода в меню каталога
Мы протестировали гипотезу - будет ли эффективным размещение промокода в меню каталога для новых мобильных пользователей.
Что проверили:
👀 Показ промокода в интерфейсе каталога
📱 Сегмент: новые пользователи на мобильных устройствах
Цифры:
CTR промокода - 1,62%
В среднем промокод применяли 1 раз
Итог:
❌ На денежные метрики - нет значимого влияния.
Конверсия в покупки в тестовой и контрольной группах практически не отличается.
Вывод:
Гипотеза не подтвердилась. Решили не запускать эту фичу - она не приносит дополнительной прибыли. Продолжаем искать более эффективные способы повышения конверсии.
#абтестирование #эксперименты
Мы протестировали гипотезу - будет ли эффективным размещение промокода в меню каталога для новых мобильных пользователей.
Что проверили:
👀 Показ промокода в интерфейсе каталога
📱 Сегмент: новые пользователи на мобильных устройствах
Цифры:
CTR промокода - 1,62%
В среднем промокод применяли 1 раз
Итог:
❌ На денежные метрики - нет значимого влияния.
Конверсия в покупки в тестовой и контрольной группах практически не отличается.
Вывод:
Гипотеза не подтвердилась. Решили не запускать эту фичу - она не приносит дополнительной прибыли. Продолжаем искать более эффективные способы повышения конверсии.
#абтестирование #эксперименты
🔥8❤2
Когда ребята начинали работу над этим руководством, они думали в первую очередь о новых сотрудниках (Nuos): они хотели помочь им освоиться в их уникальной культуре и принципах работы.
Этот справочник стал для них способом осмысленного роста без превращения в очередную компанию с токсичной культурой трудоголизма.
Затем они осознали:
К сожалению, нам до уровня культуры таких компаний, как Duolingo, ещё очень далеко. И, что ещё печальнее, это проблема не только наша, но и всего рынка в целом.
Если вы ещё не читали нашумевший в этом году Handbook от Duolingo - настоятельно рекомендую. Это must-read для всех, кто хочет понять, как строить современную и человечную компанию.
Они не просто написали правила - они создали живой, остроумный и практичный документ, который действительно работает. Именно к такому уровню открытости, ясности и вовлечённости я и стремлюсь.
Возможно, их опыт вдохновит и вас так же, как вдохновил меня.
Этот справочник стал для них способом осмысленного роста без превращения в очередную компанию с токсичной культурой трудоголизма.
Затем они осознали:
открывая наши принципы и внутренние процессы, мы, возможно, сможем изменить и tech-культуру в целом. Уйти от скучных шаблонов - к более вдохновляющим формам работы и сотрудничества.
К сожалению, нам до уровня культуры таких компаний, как Duolingo, ещё очень далеко. И, что ещё печальнее, это проблема не только наша, но и всего рынка в целом.
Если вы ещё не читали нашумевший в этом году Handbook от Duolingo - настоятельно рекомендую. Это must-read для всех, кто хочет понять, как строить современную и человечную компанию.
Они не просто написали правила - они создали живой, остроумный и практичный документ, который действительно работает. Именно к такому уровню открытости, ясности и вовлечённости я и стремлюсь.
Возможно, их опыт вдохновит и вас так же, как вдохновил меня.
❤2
💡 Vibe Experimentation в 2025: что это и зачем нужно
Автор: Collin Tate Crowell, VP of Growth, Kameleoon, North America
AI давно стал частью A/B-тестирования, ускоряя создание тестов, оптимизацию трафика и персонализацию. Но теперь всё стало ещё быстрее: на смену vibe coding приходит vibe experimentation.
🔹 Vibe coding: AI помогает быстро создать прототипы и код, но тесты всё равно нужно вручную интегрировать и запускать.
🔹 Vibe experimentation: AI создаёт готовые к запуску вариации прямо внутри вашего сайта или продукта. Вводите идею - и платформа сама строит продукт, интегрирует код, QA проходит стандартно, а тест можно запустить мгновенно.
⚡ Плюсы:
Экономия времени: запуск тестов теперь занимает минуты, а не дни.
Меньше нагрузки на разработчиков.
Больше экспериментов, больше данных, быстрее обучение.
Важно: AI ускоряет процесс, но человеческое творчество остаётся ключевым. Идеи формулируете вы - AI помогает их воплотить.
Пример: тот самый "crazy" эксперимент с вашей команды - можно построить в четверг и проверить до конца недели.
💭 Мои размышления:
Этот тренд, который начал Kameleoon, будет постепенно появляться у других вендоров. Например, Optimizely уже добавили AI-агентов.
Российский рынок сейчас находится в некоторой просадке после ухода крупных игроков. Очень ждём, когда Kameleoon даст доступ к своей новой фиче в России. Думаю, смогу в будущем рассказать об этом более подробно.
Подробнее: kameleoon.com/blog/vibe-coding-vs-vibe-experimentation
Автор: Collin Tate Crowell, VP of Growth, Kameleoon, North America
AI давно стал частью A/B-тестирования, ускоряя создание тестов, оптимизацию трафика и персонализацию. Но теперь всё стало ещё быстрее: на смену vibe coding приходит vibe experimentation.
🔹 Vibe coding: AI помогает быстро создать прототипы и код, но тесты всё равно нужно вручную интегрировать и запускать.
🔹 Vibe experimentation: AI создаёт готовые к запуску вариации прямо внутри вашего сайта или продукта. Вводите идею - и платформа сама строит продукт, интегрирует код, QA проходит стандартно, а тест можно запустить мгновенно.
⚡ Плюсы:
Экономия времени: запуск тестов теперь занимает минуты, а не дни.
Меньше нагрузки на разработчиков.
Больше экспериментов, больше данных, быстрее обучение.
Важно: AI ускоряет процесс, но человеческое творчество остаётся ключевым. Идеи формулируете вы - AI помогает их воплотить.
Пример: тот самый "crazy" эксперимент с вашей команды - можно построить в четверг и проверить до конца недели.
💭 Мои размышления:
Этот тренд, который начал Kameleoon, будет постепенно появляться у других вендоров. Например, Optimizely уже добавили AI-агентов.
Российский рынок сейчас находится в некоторой просадке после ухода крупных игроков. Очень ждём, когда Kameleoon даст доступ к своей новой фиче в России. Думаю, смогу в будущем рассказать об этом более подробно.
Подробнее: kameleoon.com/blog/vibe-coding-vs-vibe-experimentation
Kameleoon
Vibe experimentation in 2025: What it is and why it matters now | Kameleoon
Vibe coding and vibe experimentation are related but distinct practices. Vibe coding takes place outside of your site, while vibe experimentation is fully incorporated. Learn more about the differences here.
🔥3❤1
🚀 Провели A/B-тест: скрыли отзывы, чтобы проверить, повлияет ли это на покупки.
📊 Результаты:
- Конверсия почти не изменилась
- Uplift: -2.1%
- Вероятность быть лучше: 39% (контроль 61%)
- ❗️Статистической значимости нет
💡 Вывод:
Статистически значимого эффекта на метрики мы не обнаружили, хотя и наблюдали определенную позитивную тенденцию. Мощность теста (20%) подтверждает, что выборки не хватило для детекции эффекта, и для его обнаружения потребовалось бы значительно большее количество данных.
Любопытно, что Zalando - ведущая европейская платформа моды, полностью отказалась от отзывов, заменив их на рейтинги.
📊 Результаты:
- Конверсия почти не изменилась
- Uplift: -2.1%
- Вероятность быть лучше: 39% (контроль 61%)
- ❗️Статистической значимости нет
💡 Вывод:
Статистически значимого эффекта на метрики мы не обнаружили, хотя и наблюдали определенную позитивную тенденцию. Мощность теста (20%) подтверждает, что выборки не хватило для детекции эффекта, и для его обнаружения потребовалось бы значительно большее количество данных.
Любопытно, что Zalando - ведущая европейская платформа моды, полностью отказалась от отзывов, заменив их на рейтинги.
👍5🤔4
Принципы
Вчера у нас прошла отличная внутренняя встреча, посвящённая данным и второму принципу. К нам приезжал Альберт Яралиев, CEO и сооснователь Gravity Field. Вместе с нашим Head of Analytics мы подробно обсудили текущие проблемы, рабочие процессы и возможные улучшения. Разговор получился тёплым, открытым и продуктивным.
Позже мы пообщались с Альбертом тет-а-тет, и во время этой беседы до меня дошла одна очень важная мысль - как щелчок.
Никакая, даже самая продвинутая система - будь то StatSig (которую недавно приобрёл OpenAI), Kameleoon, GrowthBook, Dynamic Yield, Optimizely, AB Tasty, Adobe Target, Gravity Field и другие - не даст вам реальной ценности, если ваша организация ещё не доросла до трёх принципов для проведения экспериментов. Ни одна.
❗️❗️❗️
Существуют три ключевых принципа для организаций, которые хотят проводить контролируемые онлайн-эксперименты:
1. Организация стремится принимать решения на основе данных и формализовала OEC (Overall Evaluation Criterion - общий оценочный критерий)
2. Организация готова инвестировать в инфраструктуру и тесты для проведения контролируемых экспериментов и гарантировать достоверность результатов
3. Организация признаёт, что не умеет объективно оценивать ценность идей
Слайд взят из курса Рона Кохэви https://maven.com/kohavi/abtesting
Кто такой Рон: https://robotics.stanford.edu/~ronnyk/
Вчера у нас прошла отличная внутренняя встреча, посвящённая данным и второму принципу. К нам приезжал Альберт Яралиев, CEO и сооснователь Gravity Field. Вместе с нашим Head of Analytics мы подробно обсудили текущие проблемы, рабочие процессы и возможные улучшения. Разговор получился тёплым, открытым и продуктивным.
Позже мы пообщались с Альбертом тет-а-тет, и во время этой беседы до меня дошла одна очень важная мысль - как щелчок.
Никакая, даже самая продвинутая система - будь то StatSig (которую недавно приобрёл OpenAI), Kameleoon, GrowthBook, Dynamic Yield, Optimizely, AB Tasty, Adobe Target, Gravity Field и другие - не даст вам реальной ценности, если ваша организация ещё не доросла до трёх принципов для проведения экспериментов. Ни одна.
❗️❗️❗️
Существуют три ключевых принципа для организаций, которые хотят проводить контролируемые онлайн-эксперименты:
1. Организация стремится принимать решения на основе данных и формализовала OEC (Overall Evaluation Criterion - общий оценочный критерий)
2. Организация готова инвестировать в инфраструктуру и тесты для проведения контролируемых экспериментов и гарантировать достоверность результатов
3. Организация признаёт, что не умеет объективно оценивать ценность идей
Слайд взят из курса Рона Кохэви https://maven.com/kohavi/abtesting
Кто такой Рон: https://robotics.stanford.edu/~ronnyk/
Maven
Accelerating Innovation with A/B Testing by Dr. Ronny Kohavi on Maven
Learn from a world-leading expert how to design and analyze trustworthy A/B tests to evaluate ideas, integrate AI/ML, and grow your business
👍4❤2
httpsinfo.constructor.comhubfs2025-state-of-ecommerce.pdf.pdf
6.4 MB
🔎 Поиск в eCommerce до сих пор сломан, GenAI становится привычкой, а TikTok - новой витриной для Gen Z.
Constructor и Shopify провели масштабное исследование среди ~1500 пользователей из США и Европы.
📊 Что показали результаты 2025 года (SJM):
* 68% считают, что поиск на сайтах требует апгрейда
* 66% уходят на Amazon при разочаровании
* 64% уже попробовали GenAI для покупок
* 55% готовы платить больше за скорость и ясность
* Персонализация работает плохо - только 20% её реально видят
* Половина не доверяет спонсорским листингам
* Доверие и простота - главные факторы покупки
🛒 Вывод: в 2025 году выиграют те, кто даст покупателю понятный поиск, настоящую персонализацию и прозрачный процесс покупки.
А у нас впереди важный шаг - скоро запускаем A/B-тест поиска от AnyQuery на нашем сайте (50/50). Посмотрим, насколько он сможет повысить удобство и точность для наших пользователей.
Constructor и Shopify провели масштабное исследование среди ~1500 пользователей из США и Европы.
📊 Что показали результаты 2025 года (SJM):
* 68% считают, что поиск на сайтах требует апгрейда
* 66% уходят на Amazon при разочаровании
* 64% уже попробовали GenAI для покупок
* 55% готовы платить больше за скорость и ясность
* Персонализация работает плохо - только 20% её реально видят
* Половина не доверяет спонсорским листингам
* Доверие и простота - главные факторы покупки
🛒 Вывод: в 2025 году выиграют те, кто даст покупателю понятный поиск, настоящую персонализацию и прозрачный процесс покупки.
А у нас впереди важный шаг - скоро запускаем A/B-тест поиска от AnyQuery на нашем сайте (50/50). Посмотрим, насколько он сможет повысить удобство и точность для наших пользователей.
🔥7
Okkam-Yandex-OkkamConference-2025.pdf
2.5 MB
А вот исследование, которое ближе уже к нам.
Яндекс и Okkam изучили путь пользователя к онлайн-покупке - от первого запроса до оплаты.
Яндекс и Okkam изучили путь пользователя к онлайн-покупке - от первого запроса до оплаты.
❤7