Forwarded from UsabilityLab
Друзья, мы завершили все три дня онлайн-конференции, посвященные Всемирному Дню Юзабилити!
➡️ Вместо 1 дня праздновали 3 дня
➡️ 10,5 часов видеоматериала
➡️ 32 выступающих эксперта из разных компаний
➡️ Очень активная аудитория слушателей: вопросы, комментарии, благодарность выступающим.
➡️ В течение трех дней рассказали о становлении UX-сообществ, собственных методологических и технических разработках, организации процессов, и своих прогнозах на будущее, а также много дискутировали и обсуждали тему будущего взаимодействия по развитию сферы UX.
Материалы трех дней конференции уже в открытом доступе 👇
📹 Плейлист трех дней WUD2023
📔 Презентации доступны для скачивания
#wud2023
Материалы трех дней конференции уже в открытом доступе 👇
#wud2023
Please open Telegram to view this post
VIEW IN TELEGRAM
Система экспериментирования в Spotify 🐍
Ранее я уже неоднократно писала про Spotify (рекомендации, глобальная контрольная группа)
Сегодня расскажу о том, как они реализируют эксперименты для работы над персонализацией главной страницы/экрана.
ЗАПУСК ЭКСПЕРИМЕНТА:
1. Команда фокусируется на двух областях: скорость запуска экспериментов и их качество.
2. Для тестирования используется платформа Home Config, это внутренняя разработка типа configuration-as-a-service. Платформа позволяет “играть” с сортировкой, контентом, картинками и др.
3. Для запуска теста в прод используется платформа Spotify Experimentation Platform, встроенная во всю экосистем продукта. То есть в Home config создается конфигурация для теста, а дальше он попадает в EP для запуска в прод: параметры, группы, метрики и анализ результатов.
4. Для QA и дебаггинга используется инструмент Home QA. Он симулирует запросы пользователей к главному экрану и проверяет работу запланированного эксперимента.
КОЛЛАБОРАЦИЯ:
Ожидаемо, все команды хотят запускать тесты на главном экране, поэтому важно иметь прозрачные процессы и обмениваться информацией. Для этого:
1. Spotify использует Experimentation Tracker - хаб для всех экспериментов, который отражает детали каждого теста и помогает приоритизировать их на основе текущих бизнес задач.
2. Experiment Validation Assistant - сервис, который автоматически валидирует все A/B тесты на главной по нескольким факторам и далее отправляет результаты валидации в ветку в Slack с выводом, обратной связью и рекомендациями.
🔗 Полная статья.
#spotify
Ранее я уже неоднократно писала про Spotify (рекомендации, глобальная контрольная группа)
Сегодня расскажу о том, как они реализируют эксперименты для работы над персонализацией главной страницы/экрана.
ЗАПУСК ЭКСПЕРИМЕНТА:
1. Команда фокусируется на двух областях: скорость запуска экспериментов и их качество.
2. Для тестирования используется платформа Home Config, это внутренняя разработка типа configuration-as-a-service. Платформа позволяет “играть” с сортировкой, контентом, картинками и др.
3. Для запуска теста в прод используется платформа Spotify Experimentation Platform, встроенная во всю экосистем продукта. То есть в Home config создается конфигурация для теста, а дальше он попадает в EP для запуска в прод: параметры, группы, метрики и анализ результатов.
4. Для QA и дебаггинга используется инструмент Home QA. Он симулирует запросы пользователей к главному экрану и проверяет работу запланированного эксперимента.
КОЛЛАБОРАЦИЯ:
Ожидаемо, все команды хотят запускать тесты на главном экране, поэтому важно иметь прозрачные процессы и обмениваться информацией. Для этого:
1. Spotify использует Experimentation Tracker - хаб для всех экспериментов, который отражает детали каждого теста и помогает приоритизировать их на основе текущих бизнес задач.
2. Experiment Validation Assistant - сервис, который автоматически валидирует все A/B тесты на главной по нескольким факторам и далее отправляет результаты валидации в ветку в Slack с выводом, обратной связью и рекомендациями.
🔗 Полная статья.
#spotify
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
Не слышала про эту компанию, но всегда была интересна тема персонализации и CRO в медиа, поэтому оставлю тут.
https://adindex.ru/case/2023/04/3/311674.phtml
https://adindex.ru/case/2023/04/3/311674.phtml
AdIndex
Кейс Sparrow: как с помощью Machine Learning увеличить CTR в два-четыре раза
О том, как увеличить CTR вдвое при помощи технологии искусственного интеллекта, – в новом кейсе
Механики персонализации для QSR (доставка еды из ресторанов) 🍟
Недавно меня попросили поделиться свежими механиками для приложений по доставке еды из ресторанов. Как раз нашла парочку интересных в библиотеке Dynamic Yield:
1. Персонализация баннеров и товарных рекомендаций на основе времени суток и гео, то есть утром говорим про завтрак, а вечером про ужин, что логично. Также рядом с офисными зданиями рекомендуем кофе и маффины, а рядом со стадионом - мороженое или детские наборы.
2. Персонализация меню на основе предыдущих покупок после авторизации в киоске. Отсканировав штрих-код телефоном, пользователь авторизуется в киоске и видит персонализированную витрину: меню, баннеры, товарные рекомендации.
3. Товарные рекомендации для cross-sell на основе добавленных товаров в корзину. Если пользователь положил в корзину бургер, то рекомендуем ему напиток, картошку фри или десерт.
4. Персонализация и товарные рекомендации на основе времени суток и погоды. В жаркое утро показывает пончик с холодным кофе, а холодным днем - горячий кофе и теплый обед.
#dynamicyield
Недавно меня попросили поделиться свежими механиками для приложений по доставке еды из ресторанов. Как раз нашла парочку интересных в библиотеке Dynamic Yield:
1. Персонализация баннеров и товарных рекомендаций на основе времени суток и гео, то есть утром говорим про завтрак, а вечером про ужин, что логично. Также рядом с офисными зданиями рекомендуем кофе и маффины, а рядом со стадионом - мороженое или детские наборы.
2. Персонализация меню на основе предыдущих покупок после авторизации в киоске. Отсканировав штрих-код телефоном, пользователь авторизуется в киоске и видит персонализированную витрину: меню, баннеры, товарные рекомендации.
3. Товарные рекомендации для cross-sell на основе добавленных товаров в корзину. Если пользователь положил в корзину бургер, то рекомендуем ему напиток, картошку фри или десерт.
4. Персонализация и товарные рекомендации на основе времени суток и погоды. В жаркое утро показывает пончик с холодным кофе, а холодным днем - горячий кофе и теплый обед.
#dynamicyield
👍7
1700219439557.pdf
2.6 MB
Тест с поисковой строкой на странице корзины от Speero.
Самое известное в мире CRO-агентство (по крайней мере, я так считаю) Speero опубликовало результаты теста с добавлением поисковой строки на страницу корзину.
Изначально гипотеза была понятна. По сути эти замена виджета с cross-sell с целью увеличить средний чек, основываясь еще на том, что пользователи, которые пользуются поиском, имеют более высокую конверсию в покупку.
☑️ Итого: поисковая строка положительно повлияла на метрики использования поиском и добавление товаров в корзину, а вот на конверсию в покупку влияние отрицательное. Особенно на мобилке.
Мое мнение, что результат ожидаемый. Лучше недорогой виджет с cross-sell, из которого можно в один клик докинуть товар в корзину.
Самое известное в мире CRO-агентство (по крайней мере, я так считаю) Speero опубликовало результаты теста с добавлением поисковой строки на страницу корзину.
Изначально гипотеза была понятна. По сути эти замена виджета с cross-sell с целью увеличить средний чек, основываясь еще на том, что пользователи, которые пользуются поиском, имеют более высокую конверсию в покупку.
☑️ Итого: поисковая строка положительно повлияла на метрики использования поиском и добавление товаров в корзину, а вот на конверсию в покупку влияние отрицательное. Особенно на мобилке.
Мое мнение, что результат ожидаемый. Лучше недорогой виджет с cross-sell, из которого можно в один клик докинуть товар в корзину.
👍2
Интересный материал от агентства Ascend2 про тренды в персонализации маркетинга. Как всегда, полезнее всего смотреть именно динамику в сравнении год с годом 2023/2022.
Самое интересное в картинках.
Самое интересное в картинках.
👍1
Возможности для мерчандайзинга товаров 👚
Мерчандайзинг - одна из моих любимых тем в сфере CRO & Персонализации. Кто сможет сочетать мерчандайзинг и работу алгоритмов движка, тот и выиграет.
Хорошая подборка от Dynamic Yield на тему возможностей мерчандайзинга.
Мерчандайзинг - одна из моих любимых тем в сфере CRO & Персонализации. Кто сможет сочетать мерчандайзинг и работу алгоритмов движка, тот и выиграет.
Хорошая подборка от Dynamic Yield на тему возможностей мерчандайзинга.
Mastercard Dynamic Yield
10 Ways To Merchandise Trending Products — Dynamic Yield
Strong merchandising strategies make all the difference. But combined with personalization, merchandisers can take product discovery to the next level.
👍3🔥1
Подробно про A/A тесты от CXL (самой авторитетной образовательной компании в сфере CRO).
https://cxl-com.cdn.ampproject.org/c/s/cxl.com/blog/aa-testing-waste-time/amp/
https://cxl-com.cdn.ampproject.org/c/s/cxl.com/blog/aa-testing-waste-time/amp/
CXL
AMP for Email: Everything You Need to Know
AMP for email? Really? Yes. But it's not about speed. Learn what it can do—and the costs and risks of doing it.
❤1
Кейс про ML-рекомендации от Мегафона и Mindbox.
https://mindbox.ru/journal/cases/megafon/?mindbox-message-key=-460308636002942972&mindbox-click-id=ec6c0341-efdd-4468-8e7e-3a1f3e9cf612#comment
https://mindbox.ru/journal/cases/megafon/?mindbox-message-key=-460308636002942972&mindbox-click-id=ec6c0341-efdd-4468-8e7e-3a1f3e9cf612#comment
Mindbox: автоматизируем маркетинг
+40% к доходу триггерных рассылок. 8 тестов интернет-магазина МегаФон с ML-рекомендациями - Журнал Mindbox о разумном бизнесе
Узнайте, как интернет-магазин «МегаФон» увеличил доход от триггерных рассылок на 40% с помощью ML-рекомендаций и улучшения CRM-каналов. Реальные результаты и стратегии за 9 месяцев!
👍4
Всем привет!
Новости к концу года🎙
Моими фокусными площадками для последующих постов на тему CRO и Персонализации становятся LinkedIn и Medium, поэтому здесь писать скорее всего я не буду.
📝 Советую подписаться на эти каналы, основной язык - английский.
LinkedIn
Medium
📝 В свою очередь, на русском языке по нашей тематике я рекомендую читать:
Hard Client и Hard Client Daily от Стаса
Модель атрибуции от Саши
Есть большое количество каналов аналитиков и продактов, но это все не то)
💡 А если вам интересно в целом меня читать, то продолжаю вести свой Telegram-канал Технологии и Люди.
До встречи!
Новости к концу года🎙
Моими фокусными площадками для последующих постов на тему CRO и Персонализации становятся LinkedIn и Medium, поэтому здесь писать скорее всего я не буду.
📝 Советую подписаться на эти каналы, основной язык - английский.
Medium
📝 В свою очередь, на русском языке по нашей тематике я рекомендую читать:
Hard Client и Hard Client Daily от Стаса
Модель атрибуции от Саши
Есть большое количество каналов аналитиков и продактов, но это все не то)
💡 А если вам интересно в целом меня читать, то продолжаю вести свой Telegram-канал Технологии и Люди.
До встречи!
❤5👍1
CRO & Personalization pinned «Всем привет! Новости к концу года🎙 Моими фокусными площадками для последующих постов на тему CRO и Персонализации становятся LinkedIn и Medium, поэтому здесь писать скорее всего я не буду. 📝 Советую подписаться на эти каналы, основной язык - английский.…»
Всем привет !
Почти два года здесь не было новых постов. Я теперь занимаюсь другими проектами (можно почитать в канале Технологии и люди)
А этот канал ждал своего визионера и драйвера.
И дождался 😎
С этого дня я передаю канал энтузиасту сферы CRO, персонализации и экспериментирования - Андрею Андрееву.
Мы давно знакомы, много обсуждали экспертные темы, и я хорошо знаю, сколько исследований и планов у него есть по развитию этой индустрии.
Уверена, что под его лидерством канал получит развитие 👏
Андрей скоро расскажет о себе подробнее 🤩
Почти два года здесь не было новых постов. Я теперь занимаюсь другими проектами (можно почитать в канале Технологии и люди)
А этот канал ждал своего визионера и драйвера.
И дождался 😎
С этого дня я передаю канал энтузиасту сферы CRO, персонализации и экспериментирования - Андрею Андрееву.
Мы давно знакомы, много обсуждали экспертные темы, и я хорошо знаю, сколько исследований и планов у него есть по развитию этой индустрии.
Уверена, что под его лидерством канал получит развитие 👏
Андрей скоро расскажет о себе подробнее 🤩
🔥8👍6❤4👎1
В этом канале — всё о том, как использовать A/B-тестирование, персонализацию и оптимизацию конверсии для роста. Здесь будет теория и практика: кейсы, методологии, разборы гипотез и реальные примеры из проектов.
Будем вместе учиться строить культуру экспериментов и превращать данные в рост
Please open Telegram to view this post
VIEW IN TELEGRAM
👍22❤10🔥10
📈 Как убедить руководство масштабировать A/B-тесты
Если ваш CMO или директор по eCommerce сомневается, стоит ли увеличивать число экспериментов и инвестиции, можно показать ценность тестирования через простую математику.
🔑 Шаг 1. Минимально обнаружимый эффект (MDE)
MDE = 4σ / √n
Это минимальный эффект, который мы можем уверенно зафиксировать.
См. подробнее
🔑 Шаг 2. Компаунд-эффект
Каждый успешный тест накапливает результат:
Uplift % = (1 + (MDE – haircut)) ^ (N × W) – 1
где N — число экспериментов, W — win rate, haircut — поправка на «winner’s curse». Подробнее здесь
⚡ Формула выверена вместе с Роном Кохави.
📊 Пример
• Метрика: ARPU
• MDE = 3%
• 100 тестов в год
• Win rate = 10%
• Haircut = 13%
👉 Прирост без поправки: +34.4%
👉 С поправкой: +29.4%
💡 Вывод
Даже при 10% win rate можно получить около +30% прироста за год.
Этот подход помог мне защитить инвестиции в программу тестирования и убедить руководство в её ценности.
👉 Вы можете подставить свои данные и рассчитать uplift для вашей компании в этом калькуляторе:
Google Sheets калькулятор
Если ваш CMO или директор по eCommerce сомневается, стоит ли увеличивать число экспериментов и инвестиции, можно показать ценность тестирования через простую математику.
🔑 Шаг 1. Минимально обнаружимый эффект (MDE)
MDE = 4σ / √n
Это минимальный эффект, который мы можем уверенно зафиксировать.
См. подробнее
🔑 Шаг 2. Компаунд-эффект
Каждый успешный тест накапливает результат:
Uplift % = (1 + (MDE – haircut)) ^ (N × W) – 1
где N — число экспериментов, W — win rate, haircut — поправка на «winner’s curse». Подробнее здесь
⚡ Формула выверена вместе с Роном Кохави.
📊 Пример
• Метрика: ARPU
• MDE = 3%
• 100 тестов в год
• Win rate = 10%
• Haircut = 13%
👉 Прирост без поправки: +34.4%
👉 С поправкой: +29.4%
💡 Вывод
Даже при 10% win rate можно получить около +30% прироста за год.
Этот подход помог мне защитить инвестиции в программу тестирования и убедить руководство в её ценности.
👉 Вы можете подставить свои данные и рассчитать uplift для вашей компании в этом калькуляторе:
Google Sheets калькулятор
Linkedin
Using the statistical power formula in reverse makes more sense in A/B test settings, that is, in online settings, where you can…
Using the statistical power formula in reverse makes more sense in A/B test settings, that is, in online settings, where you can maximally power experiments.
In RCTs (Randomized Controlled Trials), your goal is to evaluate a drug or vaccine with large…
In RCTs (Randomized Controlled Trials), your goal is to evaluate a drug or vaccine with large…
🔥9❤6👍4
🚀 ЖИВОЙ РАЗБОР САЙТА от экспертов 🎯
Завтра ребята из Oddit устроят живой и безжалостный разбор сайтов. Никакой теории — только практика и рабочие фишки!
Как это будет?
Можно прислать свой сайт (я прислал наш 😁) или лендинги. Они выберут несколько и прямо в эфире покажут:
✅ Что работает идеально
✅ Что можно и нужно улучшить
✅ Как именно это исправить
📅 Дата: 27 августа (среда)
🕐 Время: 20:00 по МСК
Что вы получите от эфира:
🔹 Чек-лист по усилению вашего сайта (если выберут конечно)
🔹 Готовую формулу сайта, который продает
🔹 Личную консультацию от топовых экспертов по CRO и UX
🔗 Ссылка на регистрацию
Завтра ребята из Oddit устроят живой и безжалостный разбор сайтов. Никакой теории — только практика и рабочие фишки!
Как это будет?
Можно прислать свой сайт (я прислал наш 😁) или лендинги. Они выберут несколько и прямо в эфире покажут:
✅ Что работает идеально
✅ Что можно и нужно улучшить
✅ Как именно это исправить
📅 Дата: 27 августа (среда)
🕐 Время: 20:00 по МСК
Что вы получите от эфира:
🔹 Чек-лист по усилению вашего сайта (если выберут конечно)
🔹 Готовую формулу сайта, который продает
🔹 Личную консультацию от топовых экспертов по CRO и UX
🔗 Ссылка на регистрацию
Luma
How We Buy #13 · Zoom · Luma
🚀 Live Website Teardown: How We Buy, Episode 13
We're back!
Join us for a no-BS, live website teardown with our friends at Oddit.
How it works:
During the…
We're back!
Join us for a no-BS, live website teardown with our friends at Oddit.
How it works:
During the…
🔥4👍1🥰1