🎯 Какой оффер мотивирует кликнуть на баннер?

Мы протестировали несколько вариантов:

–500 ₽ (контроль)
Бесплатная доставка
–800 ₽
–20%
📊 Результаты по CTR:

–800 ₽: +61% (лучший результат)
–20%: почти без изменений
Бесплатная доставка: –19% (хуже контроля)
👉 Вывод: фиксированная денежная выгода воспринимается пользователями гораздо сильнее, чем бесплатная доставка или процентная скидка.

#абтестирование #эксперименты

📌 Персонализация в действии

Сегодня мало просто делать хороший продукт или удобный сайт. Клиенты ждут, что с ними будут общаться как с людьми, а не как с номерами в базе.

🔑 Факты из отчёта:

* 89% бизнес-лидеров считают персонализацию ключом к успеху.
* 84% покупателей важно чувствовать личное отношение.
* 76% чаще покупают при персонализированной коммуникации.

И это не просто теория.

* News UK увеличили подписки на 39%, оптимизировав paywall и рекомендации.
* Brooks Running снизили возвраты на 80% благодаря подсказкам по размеру обуви.
* New Era Cap выросли на +60% YoY в онлайн-продажах, сделав персонализацию центром digital-стратегии.
* Australian Red Cross увеличил доходы на 2800%, трансформировав донорский путь с персональными рекомендациями и автоматизацией.

📈 Вывод: персонализация - не "nice to have". Это стратегический приоритет, напрямую влияющий на доходы и лояльность.

❓А вы уже внедрили персонализацию или пока думаете?

🔥 Новый эксперимент: с рекомендациями в футере

Провели A/B-тест по внедрению рекомендаций в футере сайта - по аналогии с culturekings.com

Что тестировали:
• Рекомендации товаров в подвале сайта
• Улучшение пользовательского опыта
• Влияние на конверсию в покупки

Результаты:
📊 Конверсия осталась на прежнем уровне - 3.25%
📈 Uplift составил всего +0.14% (в пределах погрешности)
🎯 Вероятность превосходства над контролем - 45.75%

#абтестирование #эксперименты

🏎️ Скорость решает всё. Даже доверие.
Пост от CEO Ben Labay, Speero
Оригинал на LinkedIn

Я часто повторяю: velocity - главная метрика. Но многие спорят. На мой взгляд - зря.
Ошибка индустрии в том, что эксперименты стали "чекбоксом", а не образом мышления. Считают идеи, спорят о "победах" и "поражениях"... хотя ценность - в системе, которая создаёт результаты.

Когда команда начинает ship-ить быстрее, всё меняется:

1️⃣ Появляется доверие - дела важнее споров.
2️⃣ Упрощается сложность - действием, а не моделями.
3️⃣ Исчезает политика - данные решают, а не громкие голоса.
4️⃣ Видны реальные узкие места - метрики, процессы, владельцы.
5️⃣ Дебаты превращаются в факты - ship it and learn.
6️⃣ Меньший масштаб = меньше страха и быстрее обучение.
7️⃣ Стратегия становится циклом обратной связи, а не статикой.
8️⃣ Команда показывает лидерство и уверенность.

🙋Частый вопрос: а что если запустить не то?
Ответ: если судить по отдельным тестам - да, риск есть. Но если смотреть на систему, то скорость = больше маленьких, умных и быстрых запусков. Это культура, где процесс позволяет в 2-5 раз ускориться без увеличения команды.

Что думаете? Есть ли метрика, которая лучше отражает успех экспериментирования?

🔥 Результаты А/B теста: показ промокода в меню каталога

Мы протестировали гипотезу - будет ли эффективным размещение промокода в меню каталога для новых мобильных пользователей.

Что проверили:

👀 Показ промокода в интерфейсе каталога

📱 Сегмент: новые пользователи на мобильных устройствах

Цифры:

CTR промокода - 1,62%

В среднем промокод применяли 1 раз

Итог:
❌ На денежные метрики - нет значимого влияния.
Конверсия в покупки в тестовой и контрольной группах практически не отличается.

Вывод:
Гипотеза не подтвердилась. Решили не запускать эту фичу - она не приносит дополнительной прибыли. Продолжаем искать более эффективные способы повышения конверсии.

#абтестирование #эксперименты

Когда ребята начинали работу над этим руководством, они думали в первую очередь о новых сотрудниках (Nuos): они хотели помочь им освоиться в их уникальной культуре и принципах работы.

Этот справочник стал для них способом осмысленного роста без превращения в очередную компанию с токсичной культурой трудоголизма.

Затем они осознали:

открывая наши принципы и внутренние процессы, мы, возможно, сможем изменить и tech-культуру в целом. Уйти от скучных шаблонов - к более вдохновляющим формам работы и сотрудничества.

К сожалению, нам до уровня культуры таких компаний, как Duolingo, ещё очень далеко. И, что ещё печальнее, это проблема не только наша, но и всего рынка в целом.

Если вы ещё не читали нашумевший в этом году Handbook от Duolingo - настоятельно рекомендую. Это must-read для всех, кто хочет понять, как строить современную и человечную компанию.

Они не просто написали правила - они создали живой, остроумный и практичный документ, который действительно работает. Именно к такому уровню открытости, ясности и вовлечённости я и стремлюсь.

Возможно, их опыт вдохновит и вас так же, как вдохновил меня.

💡 Vibe Experimentation в 2025: что это и зачем нужно
Автор: Collin Tate Crowell, VP of Growth, Kameleoon, North America

AI давно стал частью A/B-тестирования, ускоряя создание тестов, оптимизацию трафика и персонализацию. Но теперь всё стало ещё быстрее: на смену vibe coding приходит vibe experimentation.

🔹 Vibe coding: AI помогает быстро создать прототипы и код, но тесты всё равно нужно вручную интегрировать и запускать.

🔹 Vibe experimentation: AI создаёт готовые к запуску вариации прямо внутри вашего сайта или продукта. Вводите идею - и платформа сама строит продукт, интегрирует код, QA проходит стандартно, а тест можно запустить мгновенно.

⚡ Плюсы:
Экономия времени: запуск тестов теперь занимает минуты, а не дни.
Меньше нагрузки на разработчиков.
Больше экспериментов, больше данных, быстрее обучение.
Важно: AI ускоряет процесс, но человеческое творчество остаётся ключевым. Идеи формулируете вы - AI помогает их воплотить.
Пример: тот самый "crazy" эксперимент с вашей команды - можно построить в четверг и проверить до конца недели.

💭 Мои размышления:
Этот тренд, который начал Kameleoon, будет постепенно появляться у других вендоров. Например, Optimizely уже добавили AI-агентов.
Российский рынок сейчас находится в некоторой просадке после ухода крупных игроков. Очень ждём, когда Kameleoon даст доступ к своей новой фиче в России. Думаю, смогу в будущем рассказать об этом более подробно.

Подробнее: kameleoon.com/blog/vibe-coding-vs-vibe-experimentation

🚀 Провели A/B-тест: скрыли отзывы, чтобы проверить, повлияет ли это на покупки.

📊 Результаты:
- Конверсия почти не изменилась
- Uplift: -2.1%
- Вероятность быть лучше: 39% (контроль 61%)
- ❗️Статистической значимости нет

💡 Вывод:
Статистически значимого эффекта на метрики мы не обнаружили, хотя и наблюдали определенную позитивную тенденцию. Мощность теста (20%) подтверждает, что выборки не хватило для детекции эффекта, и для его обнаружения потребовалось бы значительно большее количество данных.
Любопытно, что Zalando - ведущая европейская платформа моды, полностью отказалась от отзывов, заменив их на рейтинги.

Принципы

Вчера у нас прошла отличная внутренняя встреча, посвящённая данным и второму принципу. К нам приезжал Альберт Яралиев, CEO и сооснователь Gravity Field. Вместе с нашим Head of Analytics мы подробно обсудили текущие проблемы, рабочие процессы и возможные улучшения. Разговор получился тёплым, открытым и продуктивным.

Позже мы пообщались с Альбертом тет-а-тет, и во время этой беседы до меня дошла одна очень важная мысль - как щелчок.

Никакая, даже самая продвинутая система - будь то StatSig (которую недавно приобрёл OpenAI), Kameleoon, GrowthBook, Dynamic Yield, Optimizely, AB Tasty, Adobe Target, Gravity Field и другие - не даст вам реальной ценности, если ваша организация ещё не доросла до трёх принципов для проведения экспериментов. Ни одна.

❗️❗️❗️

Существуют три ключевых принципа для организаций, которые хотят проводить контролируемые онлайн-эксперименты:

1. Организация стремится принимать решения на основе данных и формализовала OEC (Overall Evaluation Criterion - общий оценочный критерий)
2. Организация готова инвестировать в инфраструктуру и тесты для проведения контролируемых экспериментов и гарантировать достоверность результатов
3. Организация признаёт, что не умеет объективно оценивать ценность идей

Слайд взят из курса Рона Кохэви https://maven.com/kohavi/abtesting

Кто такой Рон: https://robotics.stanford.edu/~ronnyk/

🔎 Поиск в eCommerce до сих пор сломан, GenAI становится привычкой, а TikTok - новой витриной для Gen Z.
Constructor и Shopify провели масштабное исследование среди ~1500 пользователей из США и Европы.

📊 Что показали результаты 2025 года (SJM):
* 68% считают, что поиск на сайтах требует апгрейда
* 66% уходят на Amazon при разочаровании
* 64% уже попробовали GenAI для покупок
* 55% готовы платить больше за скорость и ясность
* Персонализация работает плохо - только 20% её реально видят
* Половина не доверяет спонсорским листингам
* Доверие и простота - главные факторы покупки

🛒 Вывод: в 2025 году выиграют те, кто даст покупателю понятный поиск, настоящую персонализацию и прозрачный процесс покупки.

А у нас впереди важный шаг - скоро запускаем A/B-тест поиска от AnyQuery на нашем сайте (50/50). Посмотрим, насколько он сможет повысить удобство и точность для наших пользователей.

А вот исследование, которое ближе уже к нам.
Яндекс и Okkam изучили путь пользователя к онлайн-покупке - от первого запроса до оплаты.

🎯 А/B-тест УТП на главной странице
Гипотеза: добавление блока с УТП поможет новым пользователям быстрее понять ценность продукта и повысит конверсию в покупки на 5%.
📊 Результаты:
* Конверсия: +0.92% (Variation vs Control)
* Вероятность быть лучшим: 59%
* CTR блока: 0.69%
* Эффект на покупки: нет статистической значимости
👉 Вывод: пользователи взаимодействуют с блоком, но слабый CTR (0.69%) указывает, что ценности, возможно, поданы недостаточно понятно или заметно. Стоит протестировать другие формулировки и подачу УТП.

🔥 DuoCon 2025

Я уже 213 дней в Duolingo, мой Score 65, и теперь он отображается в моем LinkedIn профиле - крутой способ показать навыки!

Из интересного: персонализация поведения Лили. Каждое решение проходит через A/B тест. Например,сердечки заменили на энергию.
* Duolingo Chess: шахматный курс обгоняет математику и музыку по вовлеченности, добавлены новые языки и PvP режим.
* ИИ и видео-звонки: персонализированная практика речи для Max подписчиков с обратной связью.
* Gamification & социальное соревнование: Duolingo Score может стать отраслевым стандартом оценки языковых навыков.
* Стратегия роста: укрепление доверия и позиций на рынке через инновации и расширение сервисов.

📺 Смотрите полное видео!

Коллеги, я приглашаю вас на вебинар в рамках проекта Learnings.
Мероприятие пройдет в эту пятницу в 15:00 онлайн. Длительность 1 час.

Для подключения используйте ссылку: https://telemost.yandex.ru/j/6653887362

Совместный воркшоп Gravity Field и WIM.Agency — «Геймификация как драйвер роста e-commerce»

Воркшоп ведет Альберт Яралиев, сооснователь и СЕО Gravity Field, совместно с Олей Чемм, CEO WIM.Agency, Марией Денисенко, Group Head WIM.Agency, и Даниилом Климовым — PM WIM.Agency.

О чем поговорим:
1. Цели геймификации. Какие задачи решает?
2. Кейсы из практики с метриками и интересными фактами
3. Тренды в геймификации
4. Как правильно делать геймификацию?

Какие кейсы разберем:
⁃ «Почему классический CRM-подход не работает: кейс “Азбуки вкуса” с редизайном коммуникаций и геймификацией»
⁃ «Первая большая геймификация для косметического ритейла: от трудностей запуска до измеримых результатов»
⁃ «Новогодний спецпроект для МТС: адвент-календарь с мини-играми и партнёрскими интеграциями»

Главная сила A/B-тестирования - в способности проверять гипотезы и вскрывать непредвиденные эффекты. К примеру, все вокруг уверены, что Rich-контент гарантированно повышает конверсию. Самый чистый способ это проверить - не добавлять его, а убрать в рамках эксперимента. Именно так можно увидеть его реальное, а не предполагаемое, влияние.

🎯 А/B-тест: Скрытие Rich-контента повышает покупки у новых пользователей

🧪 Гипотеза
Скрытие Rich-контента снизит конверсию на 5-8% у новых пользователей

📊 Результаты

Скрытие Rich-контента не снизило конверсию, а статистически значимо повысило покупки на 6%

🔍 Выводы

Гипотеза не подтвердилась: рост покупок возможен из-за упрощения интерфейса, быстрой загрузки и фокуса на CTA

Теперь живите с этим 😁😁😁

Представьте: вы продукт-менеджер каталога.
Ваша задача - упростить и ускорить выбор товаров, а в итоге - увеличить продажи.

И вот рождается суперпростая идея.
Вы открываете каталог и видите десятки распроданных товаров. Они только засоряют листинг и создают лишнюю когнитивную нагрузку. Но вы опытный - знаете, что это "наследие" от коллег из SEO, которые так собирают трафик.

Вы копаете глубже и находите гипотезу от CRO-агентства DRIP agency, которая подтверждает вашу мысль: убрать распроданные товары из листинга.

Цена вопроса? Одна строчка кода.
Ожидания? +25% к ARPU, а может и повод для статьи или премии.

Вы запускаете A/B-тест. Ждёте роста.
Но результат - -7.49%.

Теперь представьте, что вы сделали бы это без A/B.
А ещё хуже - что сделали бы это навсегда.

👉 Живите с этим.


А уже сегодня в 15:00 - онлайн-воркшоп Gravity Field и WIM.Agency

"Геймификация как драйвер роста e-commerce"

Спикеры:

Альберт Яралиев - сооснователь и CEO Gravity Field
Оля Чемм - CEO WIM.Agency
Мария Денисенко - Group Head WIM.Agency
Даниил Климов - PM WIM.Agency


Подключение по ссылке: https://telemost.yandex.ru/j/6653887362

😱 Когда страх упустить работает

Есть простой триггер, который мы часто недооцениваем - FOMO (Fear of Missing Out).
Мы решили проверить: что если подсветить окончание акции за 96 часов до конца?
Результат: даже такое небольшое напоминание подтолкнуло пользователей к действию.

📊 Конверсия выросла на +4.4%, и это статистически значимый результат (P2BB 97.3%).
Сплит 80/20.

✅ Вывод: иногда достаточно маленькой детали, чтобы заметно изменить поведение.