Коллеги, также делюсь презентацией и записью с недавнего вебинара Дмитрия Некрасова. 🚀 Тема настолько прорывная, что Mixpanel уже внедрили Metrics Trees в своё обновление!

🔗 Смотрите сами: Mixpanel Metrics Trees
📑 Презентация Дмитрия с подробным разбором: ссылка
📢 Канал Дмитрия с аналитикой и разбором кейсов: @jetmetrics

Почему это важно:
Metrics Trees помогают связать ключевые метрики с их драйверами и факторами, находить узкие места и строить аналитику более системно.

❓Вопрос к вам: используете ли вы Metrics Trees в своей аналитике? Если да — как внедряете и на каких задачах?

#learnings

🚀 A/B тестирование поиска и рекомендаций: Искусство, наука и математика

Даже самые продвинутые AI-алгоритмы ранжирования не отменяют необходимость точечных экспериментов. Правильные A/B тесты в поиске, автодополнении, навигации и рекомендациях напрямую ведут к росту выручки.

Constructor - это платформа поиска и продукт-дискавери для интернет-магазинов, которая помогает таким брендам, как Sephora и Backcountry, увеличивать конверсию с помощью AI.

Они подготовили исчерпывающее руководство, в котором собрали весь их опыт проведения экспериментов:

🔹 Почему это критически важно?
🔹 Что именно тестировать мерчендайзерам и продуктологам?
🔹 Как проводить валидные тесты и правильно интерпретировать результаты?
🔹 Готовые идеи для тестов across Search, Autocomplete, Browse и Recommendations

Это must-read для любого, кто хочет принимать решения о UX на основе данных, а не догадок.

📖 Скачать полный гайд можно по ссылке
(я уже прошел всю регистрацию😎)

🚀 Результаты A/B-теста изменения текста на сборщике Email

Проверили, как новый текст влияет на кликабельность. Вот что получилось:

✅ Variation 1: +42% к кликам
✅ Variation 2: +30% к кликам

Оба варианта значительно обогнали контрольную группу.

Но есть нюанс: 💰 На денежные метрики изменения не повлияли - статистической значимости нет.

Вывод: текст важен для вовлечения, но одного его недостаточно для роста доходов.

#абтестирование #эксперименты

Наш текущий ритм — это 8-9 запускаемых гипотез в месяц. Скорее всего, сейчас это наш предел. При этом суровая реальность такова, что успешными оказываются менее 10% из них.

Со временем количество одновременных тестов на проде исчисляется десятками. Рано или поздно возникает ключевой вопрос: а не мешают ли наши эксперименты друг другу? Мы достигаем точки, где риски пересечения тестов и их взаимного влияния становятся реальной проблемой, способной искажать результаты и принимать неверные решения (см. скриншот).

Существует три основные стратегии, чтобы масштабировать экспериментирование без потери точности:

1️⃣ Перекрывающиеся тесты (запускаем всё и сразу)

✅ Высокая скорость, много данных
❌ Риск взаимодействий, сложная интерпретация

2️⃣ Последовательные тесты (запускаем по очереди)

✅ Чистота результатов, никаких помех
❌ Очень медленно, меньше экспериментов

3️⃣ Изолированные тесты (делим аудиторию на сегменты)

✅ Идеальная чистота, простота анализа
❌ Нужна огромная аудитория, нет гибкости

А вот мнения ведущих специалистов в этой области:

- Ron Kochavi

Параллельное проведение A/B-тестов необходимо для масштабирования. Многие организации не решаются проводить эксперименты одновременно, опасаясь их взаимодействия, но эти опасения сильно преувеличены:

· Параллельное тестирование необходимо для масштабирования
· Серьёзные взаимодействия на практике встречаются редко
· Большинство опасений не имеют под собой оснований

В статье я привожу примеры антагонистического и синергетического взаимодействия, рассказываю, как их обнаружить, и почему ведущие компании безопасно проводят тысячи параллельных экспериментов.

- Timothy Chan (Statsig): сильные взаимодействия редки, поэтому overlapping-тесты — это мощный инструмент масштаба для таких компаний, как Facebook и Google. Подробнее

- Исследование Microsoft: интерференция в A/B-тестах встречается реже, чем принято думать. Подробнее

- Lukas Vermeer: предлагает системные методы дляdetection (обнаружения) взаимодействий, что критично в сложных средах. Подробнее

🌝 Бонус
Как запускать много тестов одновременно: избегание и обнаружение взаимодействий (How to run many tests at once: interaction avoidance & detection)
Офигенный митап от Лукаса Вермеера в Test & Learn Community

🎯 Какой оффер мотивирует кликнуть на баннер?

Мы протестировали несколько вариантов:

–500 ₽ (контроль)
Бесплатная доставка
–800 ₽
–20%
📊 Результаты по CTR:

–800 ₽: +61% (лучший результат)
–20%: почти без изменений
Бесплатная доставка: –19% (хуже контроля)
👉 Вывод: фиксированная денежная выгода воспринимается пользователями гораздо сильнее, чем бесплатная доставка или процентная скидка.

#абтестирование #эксперименты

📌 Персонализация в действии

Сегодня мало просто делать хороший продукт или удобный сайт. Клиенты ждут, что с ними будут общаться как с людьми, а не как с номерами в базе.

🔑 Факты из отчёта:

* 89% бизнес-лидеров считают персонализацию ключом к успеху.
* 84% покупателей важно чувствовать личное отношение.
* 76% чаще покупают при персонализированной коммуникации.

И это не просто теория.

* News UK увеличили подписки на 39%, оптимизировав paywall и рекомендации.
* Brooks Running снизили возвраты на 80% благодаря подсказкам по размеру обуви.
* New Era Cap выросли на +60% YoY в онлайн-продажах, сделав персонализацию центром digital-стратегии.
* Australian Red Cross увеличил доходы на 2800%, трансформировав донорский путь с персональными рекомендациями и автоматизацией.

📈 Вывод: персонализация - не "nice to have". Это стратегический приоритет, напрямую влияющий на доходы и лояльность.

❓А вы уже внедрили персонализацию или пока думаете?

🔥 Новый эксперимент: с рекомендациями в футере

Провели A/B-тест по внедрению рекомендаций в футере сайта - по аналогии с culturekings.com

Что тестировали:
• Рекомендации товаров в подвале сайта
• Улучшение пользовательского опыта
• Влияние на конверсию в покупки

Результаты:
📊 Конверсия осталась на прежнем уровне - 3.25%
📈 Uplift составил всего +0.14% (в пределах погрешности)
🎯 Вероятность превосходства над контролем - 45.75%

#абтестирование #эксперименты

🏎️ Скорость решает всё. Даже доверие.
Пост от CEO Ben Labay, Speero
Оригинал на LinkedIn

Я часто повторяю: velocity - главная метрика. Но многие спорят. На мой взгляд - зря.
Ошибка индустрии в том, что эксперименты стали "чекбоксом", а не образом мышления. Считают идеи, спорят о "победах" и "поражениях"... хотя ценность - в системе, которая создаёт результаты.

Когда команда начинает ship-ить быстрее, всё меняется:

1️⃣ Появляется доверие - дела важнее споров.
2️⃣ Упрощается сложность - действием, а не моделями.
3️⃣ Исчезает политика - данные решают, а не громкие голоса.
4️⃣ Видны реальные узкие места - метрики, процессы, владельцы.
5️⃣ Дебаты превращаются в факты - ship it and learn.
6️⃣ Меньший масштаб = меньше страха и быстрее обучение.
7️⃣ Стратегия становится циклом обратной связи, а не статикой.
8️⃣ Команда показывает лидерство и уверенность.

🙋Частый вопрос: а что если запустить не то?
Ответ: если судить по отдельным тестам - да, риск есть. Но если смотреть на систему, то скорость = больше маленьких, умных и быстрых запусков. Это культура, где процесс позволяет в 2-5 раз ускориться без увеличения команды.

Что думаете? Есть ли метрика, которая лучше отражает успех экспериментирования?

🔥 Результаты А/B теста: показ промокода в меню каталога

Мы протестировали гипотезу - будет ли эффективным размещение промокода в меню каталога для новых мобильных пользователей.

Что проверили:

👀 Показ промокода в интерфейсе каталога

📱 Сегмент: новые пользователи на мобильных устройствах

Цифры:

CTR промокода - 1,62%

В среднем промокод применяли 1 раз

Итог:
❌ На денежные метрики - нет значимого влияния.
Конверсия в покупки в тестовой и контрольной группах практически не отличается.

Вывод:
Гипотеза не подтвердилась. Решили не запускать эту фичу - она не приносит дополнительной прибыли. Продолжаем искать более эффективные способы повышения конверсии.

#абтестирование #эксперименты

Когда ребята начинали работу над этим руководством, они думали в первую очередь о новых сотрудниках (Nuos): они хотели помочь им освоиться в их уникальной культуре и принципах работы.

Этот справочник стал для них способом осмысленного роста без превращения в очередную компанию с токсичной культурой трудоголизма.

Затем они осознали:

открывая наши принципы и внутренние процессы, мы, возможно, сможем изменить и tech-культуру в целом. Уйти от скучных шаблонов - к более вдохновляющим формам работы и сотрудничества.

К сожалению, нам до уровня культуры таких компаний, как Duolingo, ещё очень далеко. И, что ещё печальнее, это проблема не только наша, но и всего рынка в целом.

Если вы ещё не читали нашумевший в этом году Handbook от Duolingo - настоятельно рекомендую. Это must-read для всех, кто хочет понять, как строить современную и человечную компанию.

Они не просто написали правила - они создали живой, остроумный и практичный документ, который действительно работает. Именно к такому уровню открытости, ясности и вовлечённости я и стремлюсь.

Возможно, их опыт вдохновит и вас так же, как вдохновил меня.

💡 Vibe Experimentation в 2025: что это и зачем нужно
Автор: Collin Tate Crowell, VP of Growth, Kameleoon, North America

AI давно стал частью A/B-тестирования, ускоряя создание тестов, оптимизацию трафика и персонализацию. Но теперь всё стало ещё быстрее: на смену vibe coding приходит vibe experimentation.

🔹 Vibe coding: AI помогает быстро создать прототипы и код, но тесты всё равно нужно вручную интегрировать и запускать.

🔹 Vibe experimentation: AI создаёт готовые к запуску вариации прямо внутри вашего сайта или продукта. Вводите идею - и платформа сама строит продукт, интегрирует код, QA проходит стандартно, а тест можно запустить мгновенно.

⚡ Плюсы:
Экономия времени: запуск тестов теперь занимает минуты, а не дни.
Меньше нагрузки на разработчиков.
Больше экспериментов, больше данных, быстрее обучение.
Важно: AI ускоряет процесс, но человеческое творчество остаётся ключевым. Идеи формулируете вы - AI помогает их воплотить.
Пример: тот самый "crazy" эксперимент с вашей команды - можно построить в четверг и проверить до конца недели.

💭 Мои размышления:
Этот тренд, который начал Kameleoon, будет постепенно появляться у других вендоров. Например, Optimizely уже добавили AI-агентов.
Российский рынок сейчас находится в некоторой просадке после ухода крупных игроков. Очень ждём, когда Kameleoon даст доступ к своей новой фиче в России. Думаю, смогу в будущем рассказать об этом более подробно.

Подробнее: kameleoon.com/blog/vibe-coding-vs-vibe-experimentation

🚀 Провели A/B-тест: скрыли отзывы, чтобы проверить, повлияет ли это на покупки.

📊 Результаты:
- Конверсия почти не изменилась
- Uplift: -2.1%
- Вероятность быть лучше: 39% (контроль 61%)
- ❗️Статистической значимости нет

💡 Вывод:
Статистически значимого эффекта на метрики мы не обнаружили, хотя и наблюдали определенную позитивную тенденцию. Мощность теста (20%) подтверждает, что выборки не хватило для детекции эффекта, и для его обнаружения потребовалось бы значительно большее количество данных.
Любопытно, что Zalando - ведущая европейская платформа моды, полностью отказалась от отзывов, заменив их на рейтинги.

Принципы

Вчера у нас прошла отличная внутренняя встреча, посвящённая данным и второму принципу. К нам приезжал Альберт Яралиев, CEO и сооснователь Gravity Field. Вместе с нашим Head of Analytics мы подробно обсудили текущие проблемы, рабочие процессы и возможные улучшения. Разговор получился тёплым, открытым и продуктивным.

Позже мы пообщались с Альбертом тет-а-тет, и во время этой беседы до меня дошла одна очень важная мысль - как щелчок.

Никакая, даже самая продвинутая система - будь то StatSig (которую недавно приобрёл OpenAI), Kameleoon, GrowthBook, Dynamic Yield, Optimizely, AB Tasty, Adobe Target, Gravity Field и другие - не даст вам реальной ценности, если ваша организация ещё не доросла до трёх принципов для проведения экспериментов. Ни одна.

❗️❗️❗️

Существуют три ключевых принципа для организаций, которые хотят проводить контролируемые онлайн-эксперименты:

1. Организация стремится принимать решения на основе данных и формализовала OEC (Overall Evaluation Criterion - общий оценочный критерий)
2. Организация готова инвестировать в инфраструктуру и тесты для проведения контролируемых экспериментов и гарантировать достоверность результатов
3. Организация признаёт, что не умеет объективно оценивать ценность идей

Слайд взят из курса Рона Кохэви https://maven.com/kohavi/abtesting

Кто такой Рон: https://robotics.stanford.edu/~ronnyk/

🔎 Поиск в eCommerce до сих пор сломан, GenAI становится привычкой, а TikTok - новой витриной для Gen Z.
Constructor и Shopify провели масштабное исследование среди ~1500 пользователей из США и Европы.

📊 Что показали результаты 2025 года (SJM):
* 68% считают, что поиск на сайтах требует апгрейда
* 66% уходят на Amazon при разочаровании
* 64% уже попробовали GenAI для покупок
* 55% готовы платить больше за скорость и ясность
* Персонализация работает плохо - только 20% её реально видят
* Половина не доверяет спонсорским листингам
* Доверие и простота - главные факторы покупки

🛒 Вывод: в 2025 году выиграют те, кто даст покупателю понятный поиск, настоящую персонализацию и прозрачный процесс покупки.

А у нас впереди важный шаг - скоро запускаем A/B-тест поиска от AnyQuery на нашем сайте (50/50). Посмотрим, насколько он сможет повысить удобство и точность для наших пользователей.

А вот исследование, которое ближе уже к нам.
Яндекс и Okkam изучили путь пользователя к онлайн-покупке - от первого запроса до оплаты.

🎯 А/B-тест УТП на главной странице
Гипотеза: добавление блока с УТП поможет новым пользователям быстрее понять ценность продукта и повысит конверсию в покупки на 5%.
📊 Результаты:
* Конверсия: +0.92% (Variation vs Control)
* Вероятность быть лучшим: 59%
* CTR блока: 0.69%
* Эффект на покупки: нет статистической значимости
👉 Вывод: пользователи взаимодействуют с блоком, но слабый CTR (0.69%) указывает, что ценности, возможно, поданы недостаточно понятно или заметно. Стоит протестировать другие формулировки и подачу УТП.

🔥 DuoCon 2025

Я уже 213 дней в Duolingo, мой Score 65, и теперь он отображается в моем LinkedIn профиле - крутой способ показать навыки!

Из интересного: персонализация поведения Лили. Каждое решение проходит через A/B тест. Например,сердечки заменили на энергию.
* Duolingo Chess: шахматный курс обгоняет математику и музыку по вовлеченности, добавлены новые языки и PvP режим.
* ИИ и видео-звонки: персонализированная практика речи для Max подписчиков с обратной связью.
* Gamification & социальное соревнование: Duolingo Score может стать отраслевым стандартом оценки языковых навыков.
* Стратегия роста: укрепление доверия и позиций на рынке через инновации и расширение сервисов.

📺 Смотрите полное видео!