💡 Vibe Experimentation в 2025: что это и зачем нужно
Автор: Collin Tate Crowell, VP of Growth, Kameleoon, North America

AI давно стал частью A/B-тестирования, ускоряя создание тестов, оптимизацию трафика и персонализацию. Но теперь всё стало ещё быстрее: на смену vibe coding приходит vibe experimentation.

🔹 Vibe coding: AI помогает быстро создать прототипы и код, но тесты всё равно нужно вручную интегрировать и запускать.

🔹 Vibe experimentation: AI создаёт готовые к запуску вариации прямо внутри вашего сайта или продукта. Вводите идею - и платформа сама строит продукт, интегрирует код, QA проходит стандартно, а тест можно запустить мгновенно.

⚡ Плюсы:
Экономия времени: запуск тестов теперь занимает минуты, а не дни.
Меньше нагрузки на разработчиков.
Больше экспериментов, больше данных, быстрее обучение.
Важно: AI ускоряет процесс, но человеческое творчество остаётся ключевым. Идеи формулируете вы - AI помогает их воплотить.
Пример: тот самый "crazy" эксперимент с вашей команды - можно построить в четверг и проверить до конца недели.

💭 Мои размышления:
Этот тренд, который начал Kameleoon, будет постепенно появляться у других вендоров. Например, Optimizely уже добавили AI-агентов.
Российский рынок сейчас находится в некоторой просадке после ухода крупных игроков. Очень ждём, когда Kameleoon даст доступ к своей новой фиче в России. Думаю, смогу в будущем рассказать об этом более подробно.

Подробнее: kameleoon.com/blog/vibe-coding-vs-vibe-experimentation

🚀 Провели A/B-тест: скрыли отзывы, чтобы проверить, повлияет ли это на покупки.

📊 Результаты:
- Конверсия почти не изменилась
- Uplift: -2.1%
- Вероятность быть лучше: 39% (контроль 61%)
- ❗️Статистической значимости нет

💡 Вывод:
Статистически значимого эффекта на метрики мы не обнаружили, хотя и наблюдали определенную позитивную тенденцию. Мощность теста (20%) подтверждает, что выборки не хватило для детекции эффекта, и для его обнаружения потребовалось бы значительно большее количество данных.
Любопытно, что Zalando - ведущая европейская платформа моды, полностью отказалась от отзывов, заменив их на рейтинги.

Принципы

Вчера у нас прошла отличная внутренняя встреча, посвящённая данным и второму принципу. К нам приезжал Альберт Яралиев, CEO и сооснователь Gravity Field. Вместе с нашим Head of Analytics мы подробно обсудили текущие проблемы, рабочие процессы и возможные улучшения. Разговор получился тёплым, открытым и продуктивным.

Позже мы пообщались с Альбертом тет-а-тет, и во время этой беседы до меня дошла одна очень важная мысль - как щелчок.

Никакая, даже самая продвинутая система - будь то StatSig (которую недавно приобрёл OpenAI), Kameleoon, GrowthBook, Dynamic Yield, Optimizely, AB Tasty, Adobe Target, Gravity Field и другие - не даст вам реальной ценности, если ваша организация ещё не доросла до трёх принципов для проведения экспериментов. Ни одна.

❗️❗️❗️

Существуют три ключевых принципа для организаций, которые хотят проводить контролируемые онлайн-эксперименты:

1. Организация стремится принимать решения на основе данных и формализовала OEC (Overall Evaluation Criterion - общий оценочный критерий)
2. Организация готова инвестировать в инфраструктуру и тесты для проведения контролируемых экспериментов и гарантировать достоверность результатов
3. Организация признаёт, что не умеет объективно оценивать ценность идей

Слайд взят из курса Рона Кохэви https://maven.com/kohavi/abtesting

Кто такой Рон: https://robotics.stanford.edu/~ronnyk/

🔎 Поиск в eCommerce до сих пор сломан, GenAI становится привычкой, а TikTok - новой витриной для Gen Z.
Constructor и Shopify провели масштабное исследование среди ~1500 пользователей из США и Европы.

📊 Что показали результаты 2025 года (SJM):
* 68% считают, что поиск на сайтах требует апгрейда
* 66% уходят на Amazon при разочаровании
* 64% уже попробовали GenAI для покупок
* 55% готовы платить больше за скорость и ясность
* Персонализация работает плохо - только 20% её реально видят
* Половина не доверяет спонсорским листингам
* Доверие и простота - главные факторы покупки

🛒 Вывод: в 2025 году выиграют те, кто даст покупателю понятный поиск, настоящую персонализацию и прозрачный процесс покупки.

А у нас впереди важный шаг - скоро запускаем A/B-тест поиска от AnyQuery на нашем сайте (50/50). Посмотрим, насколько он сможет повысить удобство и точность для наших пользователей.

А вот исследование, которое ближе уже к нам.
Яндекс и Okkam изучили путь пользователя к онлайн-покупке - от первого запроса до оплаты.

🎯 А/B-тест УТП на главной странице
Гипотеза: добавление блока с УТП поможет новым пользователям быстрее понять ценность продукта и повысит конверсию в покупки на 5%.
📊 Результаты:
* Конверсия: +0.92% (Variation vs Control)
* Вероятность быть лучшим: 59%
* CTR блока: 0.69%
* Эффект на покупки: нет статистической значимости
👉 Вывод: пользователи взаимодействуют с блоком, но слабый CTR (0.69%) указывает, что ценности, возможно, поданы недостаточно понятно или заметно. Стоит протестировать другие формулировки и подачу УТП.

🔥 DuoCon 2025

Я уже 213 дней в Duolingo, мой Score 65, и теперь он отображается в моем LinkedIn профиле - крутой способ показать навыки!

Из интересного: персонализация поведения Лили. Каждое решение проходит через A/B тест. Например,сердечки заменили на энергию.
* Duolingo Chess: шахматный курс обгоняет математику и музыку по вовлеченности, добавлены новые языки и PvP режим.
* ИИ и видео-звонки: персонализированная практика речи для Max подписчиков с обратной связью.
* Gamification & социальное соревнование: Duolingo Score может стать отраслевым стандартом оценки языковых навыков.
* Стратегия роста: укрепление доверия и позиций на рынке через инновации и расширение сервисов.

📺 Смотрите полное видео!

Коллеги, я приглашаю вас на вебинар в рамках проекта Learnings.
Мероприятие пройдет в эту пятницу в 15:00 онлайн. Длительность 1 час.

Для подключения используйте ссылку: https://telemost.yandex.ru/j/6653887362

Совместный воркшоп Gravity Field и WIM.Agency — «Геймификация как драйвер роста e-commerce»

Воркшоп ведет Альберт Яралиев, сооснователь и СЕО Gravity Field, совместно с Олей Чемм, CEO WIM.Agency, Марией Денисенко, Group Head WIM.Agency, и Даниилом Климовым — PM WIM.Agency.

О чем поговорим:
1. Цели геймификации. Какие задачи решает?
2. Кейсы из практики с метриками и интересными фактами
3. Тренды в геймификации
4. Как правильно делать геймификацию?

Какие кейсы разберем:
⁃ «Почему классический CRM-подход не работает: кейс “Азбуки вкуса” с редизайном коммуникаций и геймификацией»
⁃ «Первая большая геймификация для косметического ритейла: от трудностей запуска до измеримых результатов»
⁃ «Новогодний спецпроект для МТС: адвент-календарь с мини-играми и партнёрскими интеграциями»

Главная сила A/B-тестирования - в способности проверять гипотезы и вскрывать непредвиденные эффекты. К примеру, все вокруг уверены, что Rich-контент гарантированно повышает конверсию. Самый чистый способ это проверить - не добавлять его, а убрать в рамках эксперимента. Именно так можно увидеть его реальное, а не предполагаемое, влияние.

🎯 А/B-тест: Скрытие Rich-контента повышает покупки у новых пользователей

🧪 Гипотеза
Скрытие Rich-контента снизит конверсию на 5-8% у новых пользователей

📊 Результаты

Скрытие Rich-контента не снизило конверсию, а статистически значимо повысило покупки на 6%

🔍 Выводы

Гипотеза не подтвердилась: рост покупок возможен из-за упрощения интерфейса, быстрой загрузки и фокуса на CTA

Теперь живите с этим 😁😁😁

Представьте: вы продукт-менеджер каталога.
Ваша задача - упростить и ускорить выбор товаров, а в итоге - увеличить продажи.

И вот рождается суперпростая идея.
Вы открываете каталог и видите десятки распроданных товаров. Они только засоряют листинг и создают лишнюю когнитивную нагрузку. Но вы опытный - знаете, что это "наследие" от коллег из SEO, которые так собирают трафик.

Вы копаете глубже и находите гипотезу от CRO-агентства DRIP agency, которая подтверждает вашу мысль: убрать распроданные товары из листинга.

Цена вопроса? Одна строчка кода.
Ожидания? +25% к ARPU, а может и повод для статьи или премии.

Вы запускаете A/B-тест. Ждёте роста.
Но результат - -7.49%.

Теперь представьте, что вы сделали бы это без A/B.
А ещё хуже - что сделали бы это навсегда.

👉 Живите с этим.


А уже сегодня в 15:00 - онлайн-воркшоп Gravity Field и WIM.Agency

"Геймификация как драйвер роста e-commerce"

Спикеры:

Альберт Яралиев - сооснователь и CEO Gravity Field
Оля Чемм - CEO WIM.Agency
Мария Денисенко - Group Head WIM.Agency
Даниил Климов - PM WIM.Agency


Подключение по ссылке: https://telemost.yandex.ru/j/6653887362

😱 Когда страх упустить работает

Есть простой триггер, который мы часто недооцениваем - FOMO (Fear of Missing Out).
Мы решили проверить: что если подсветить окончание акции за 96 часов до конца?
Результат: даже такое небольшое напоминание подтолкнуло пользователей к действию.

📊 Конверсия выросла на +4.4%, и это статистически значимый результат (P2BB 97.3%).
Сплит 80/20.

✅ Вывод: иногда достаточно маленькой детали, чтобы заметно изменить поведение.

🚀 Результаты A/B теста: Персонализированные бренды на главной
Подтвердили гипотезу о добавлении персональных брендов на главную страницу. Результаты теста на 1.7 млн пользователей:
✅ +2.06% к конверсии в покупку
✅ 98.2% статистической значимости
✅ +496 дополнительных покупателей
Персонализация делает предложения более релевантными, помогая пользователям быстрее находить нужные товары.
Запустили фичу для всех!
Следующий шаг увеличить количество брендов.

📌 Проект Learnings: Gravity Field × WIM.Agency - "Геймификация как драйвер роста eCom"

🎯 Зачем: конкуренция за внимание не только с другими магазинами, но и с YouTube/соцсетями.

🎮 Геймификация: альтернатива скидкам → удержание опытом, рост выручки и времени в приложении.

🧩 Механики: миссии, челленджи, партнёрки, "три в ряд".

📊 Кейсы:

Азбука вкуса: +24% регистраций, +11% продаж.
Косметика: 600K игроков, +50K e-mail, фикс конверсии +15%.
МТС: 2.5M участников, >100K онлайн.

💡 Итоги:

LTV и SAR ↑ в 3-5 раз.
Лояльность ↑ на 30%.
ROI ~1-1,5K ₽ на механику.
Среднее вовлечение: 10-15 минут.

💡 Давать скидку или нет? Эксперимент от CVS (ведущей американской сети розничной торговли лекарствами)

Читайте отличную статью - Quantifying and Improving Promotion Effectiveness at CVS
📄 Исследование на ResearchGate
(Нужен VPN для открытия)

📊 Что сделали
CVS оценили эффективность своих промоакций с учётом:
• перехода покупателей с других товаров
• "запасания" (pull forward)
• эффекта гало (влияние на другие продукты)
На основе модели отменили неэффективные акции в сотнях магазинов.

📈 Результат
Продажи упали на $7.8 млн,
но прибыль выросла на $52.6 млн 💥
Более половины промоакций оказались убыточными.

🧠 Вывод
Скидки ≠ рост прибыли.
Важно учитывать не только рост продаж,
но и чистую прибыль с учётом поведения покупателей и кросс-эффектов.

Спасибо всем, кто пришел сегодня на мой доклад на Обороте. Ваша поддержка топ 🔝

На этой неделе у меня был 4-й модуль программы Leadership - тема: Критическое мышление 🧠

И вот вам один слайд, который точно заслуживает внимания.
Если соблюдать эти простые пункты - жить будете дольше, чем среднестатистические люди. И это научно доказано 📈

После такой насыщенной недели я рад сообщить, что я всё ещё жив 😄
Всех с пятницей! Берегите себя ❤️

P.S. Пункты со звёздочкой ⭐️ - пишите в комментариях что они означают 😉

🧭 Почему пользователи чувствуют себя обманутыми в eCommerce

Предыдущее исследование Intent Gap показало:

🔹 63% покупателей считают eCommerce-тактики манипулятивными.
🔹 54% уверены, что сайты ставят продажи выше их потребностей.
🔹 Почти половина чувствуют себя перегруженными выбором.

Неудивительно: мы до сих пор строим онлайн-опыт, глядя на страницы, а не на стадии пути клиента.

📄 Проектируем под страницы - и получаем одинаковые попапы, скидки и сообщения для всех.
🧠 Но покупатели ждут другого - признания их намерений.

71% ожидают, что бренды будут учитывать контекст, а 76% раздражаются, когда этого не происходит.
Проблема не в данных, а в том, что мы видим лишь поверхность: глубину скролла, источник трафика, число визитов. Эти сигналы не объясняют, почему человек действует.

В итоге 58% посетителей вообще не имели намерения купить, а почти втрое больше тех, кто был готов купить - так и не сделали этого.

💡 Новый взгляд - "stages, not pages".
Понимание того, на каком этапе покупки находится человек, важнее, чем знание, на какой странице он сейчас.

Читайте новый отчёт от Дэвида Маннхайма (David Mannheim) основателя User Conversion - ведущей CRO-консалтинговой компании в Великобритании, автора книги The Person in Personalisation, а теперь еще и основателя Made With Intent - Real-Time Intent Platform