Топ 20 видео по АБ тестам за всё время

Рон Кохави (ex. VP of Experiments in Microsoft) собрал google sheet со ссылками на топ по популярности видео по АБ тестам, которые лежат на youtube (вкладка 12/17/2023). Также в колонке I он оставил свои комменты к этим видео:

⚪белое - всё ок
🔴 красное - bullshit
🟠оранжевое - есть вопросы

В общем, если что то захотите глянуть на youtube по АБ тестам, вот вам список 😉

Залог крепких отношений 😂
Всем хорошей недели 👋

Почему аналитики так любят AБ тесты и в чем проблема ресерчей? 🤔

Недавно закончил один ресёрч и на меня тут навеяло.

Вообще в целом если послушать, почитать исследователей , все кайфуют от рандомизированных экспериментов ( не только в IT) и по максимуму стараются их использовать для проверки своих гипотез (если половине лягушек дать таблетки, они будут прыгать выше ?).

Так почему АБ тесты стараются утилизировать по максимуму ? 🧪

Дело в том что рандомизированные эксперименты эта штука которая нас освобождает от Selection bias( как по мне самый поганый bias), то есть благодаря рандомизации и закону больших чисел , если мы соберем достаточно пользователей то у нас будет «одинаковое» представление в группах каждого фактора который влияет на исследуемую нами метрику. Таким образом единственная разница между двумя группами будет изменение которое мы добавили в тестовую группу.

Но очень часто бывает так что мы не можем провести эксперимент, потому что ,например, хотим понять влияние особенности какой либо группы клиентов на интересующую нас метрику. И тут нам приходится делать «исследование».

Как делается исследование?📊

Мы ,например, можем начать подбирать, как мы думаем, идентичных пользователей , где единственное отличие от исследуемых пользователей будет наличие особенности , сравнивать их, и получить какой-то эффект на количество покупок, и на основе этого сделать вывод, что да, исследуемый нами фактор влияет на метрику или мы не можем сказать что он влияет (ну там p-value, конф интервалы, вы меня поняли).

Так в чем же проблема ?🥸

Проблема как раз заключается в том что когда мы делаем те самые подборы похожих клиентов или же добавляем контрольные переменные в нашу регрессию, мы - аналитики делаем это во много исходя из нашего domain knowledge. И как вы понимаете всегда есть вероятность что мы что-то упускаем.

Пример ⁉️

Мы хотим проверить есть ли влияния наличия машины у клиента на количество покупок в нашем сервисе.
Мы подбираем похожих друг на друга клиентов исходя из их возраста , пола , и на самом деле упускаем тот момент в каких городах живут наши клиенты, а этот фактор оказывается значимым для нашей метрики (например люди из Москвы имеют больше машин и по какой то причине покупают больше чем люди из Питера ).
Вуаля , сравниваем группу клиентов с машиной и без , получаем значимое влияние наличие машины на количество покупок. Начинаем привлекать больше людей с машинами в Питере и наша метрика не растет, потраченный маркетинговый бюджет, очередной Lay off 😄

Конечно пример упрощенный, но таким фактором может быть что угодно скрытое от ваших глаз или даже баз данных. Причем есть ситуации когда принятие во внимание фактора меняет знак эффекта. 😱

Какой вывод из этого надо сделать? 🤔

Качество проводимого вами исследования напрямую зависит от вашего знания доменной области, наука уже придумала ряд методов что бы приблизить качество исследований к условиям рандомизированных экспериментов , но скажем есть куда стремиться.

Рекомендации

Для продактов🙋‍♂️ - если вы видите такого типа исследования как я описал выше, не стесняйтесь, спросите - какие ваш аналитик учел факторы при подборе схожих пользователей? Возможно вы владеете какими то знаниями которые помогут улучшить качество исследования.

Для аналитиков 🤓- перед началом исследования желательно обговорить факторы которые вы принимаете во внимания при анализе, возможно именно эта коммуникация сэкономит денег компании и вам времени.

Вопрос: Кто как справляется с таким родом проблем ?

Бонус 🎁 : есть очень крутой эконометрист Joshua Angrist (человек который придумал Instrumental Variables и получил Нобелевку), вот ссылка на очень понятный его курс по основам эконометрики, / Causal inference он короткий но в формате кунг фу, наслаждайтесь 😂

Сегодня узнал, что канал попал в список ресурсов, которые аналитики отметили как полезные в исследовании New HR 🍾

Спасибо большое друзья, что читаете и делитесь впечатлениями ❤️

Ссылка на полный список полезных ресурсов тут 🤗

Свежая статья от Netflix 🖥 про использование Sequential AB testing для тестирования новых версий сборок на пользователях


Я думаю все из вас то там то здесь слышали про использование АБ тестов непосредственно в тестировании новых версий сборок перед раскаткой на всю аудиторию. Так вот , ребята из Netflix выпустили статью где они рассказывают как используют Sequential методы для тестирования новых сборок на своих пользователях. Про дизайн таких экспериментов они пишут больше здесь.

В целом надо ли делать или не делать АБ тесты новых сборок , вопрос спорный и наверное всё таки зависит от многих факторов внутри продукта, зрелость , размер аудитории (Нетфликсу, по их словам, надо пару часов держать такие эксперименты что бы задетектить критические изменения в их метриках например, ну то есть Not a big deal 😄).

Но в целом если интересно узнать что-то в этом направлении то в качестве отправной точки мне кажется эти статьи вполне подойдут 😊

Как я собеседовал ChatGPT🤖

Из тех из вас кто тут достаточно давно, помнят, что я выкладывал вакансию на Middle Product Analyst к нам в Gett, и так сложилось, что я собеседую кандидатов по секции экспериментов.
Моя часть состоит из домашнего задания (задизайнить и проанализировать АБ тест, с условием что есть затраты на фичу) , ну и на очной встрече от меня требуется почелленджить кандидата по статистике и экспериментам.

В один день мне прилетело домашнее задание от одного кандидата. Открываю я значит ноутбук, а там очень знакомые мне комментарии , под знаком хэш # ,обращающиеся ко мне (# create csv , # add … ), над каждой строчкой кода , думаю , ну здравствуй, дорогой GPT 😅

Сразу оговорюсь, что я не против решения задач при помощи ИИ, если получается сократить трудо-затраты и получить валидное решение конечно же.

К сожалению, то что я увидел на выходе, не соответствовало вышестоящим критериям. 🥲

В дизайне эксперимента ChatGPT использовал формулу расчета размера выборки, но вместо эффектсайза там был % лифта, что как вы понимаете уже сильно увеличило требуемое количество людей для теста и уже перезаложило нас на много времени вперед по длительности эксперимента…

В самом анализе , ChatGPT использовал, на самом деле, верный стат метод и сказал что разница между двумя группами стат значима, и торжественно выдал p-value. Но дело в том что в условном задании были затраты на поддержку фичи, о чем ChatGPT успешно забыл или не понял , или человек который промпт ему писал об этом не сообщил , не знаю в общем 😄
Но суть в том что если бы это было в реальности , то с таким слепым анализом (без дов интервала) компания могла вполне попасть на деньги. Поэтому тут тоже считаю что GPT и кандидат не справились.

Зачем я об этом пишу?
Я часто слышу, что с появлением ChatGPT мы можем без понимания предмета или инструмента выполнить нашу задачу ничуть не хуже чем человек у которого есть в этом опыт. Ну вот теперь вы знаете что на простом домашнем задании такой подход не сработал…

Так что если кто то собирается сменить работу и заниматься например продуктовой аналитикой, я все таки призываю поразбираться в статистике , по крайней мере пока 😂

Буду рад услышать ваши мнения по этому поводу 😊

Эффект новизны в эксперименте (novelty effect) ✨

Всем , привет!
Давно не писал, меня забрал тервер из MIT, осталось еще 2 месяца, надеюсь доживу😄
Но что бы вы меня совсем не теряли, хочу коротко поговорить про эффект новизны в АБ тестах.

Что это такое ?🤔
Эффект новизны это ситуация когда вы запускаете новую фичу в продукте, ваши пользователи замечают это изменение и начинают проявлять интерес , с мыслями : «О, ничего себе какая новая штука появилась , дай потыкаюсь 😅»

В чем тут проблема?🧐
С одной стороны интерес к новой фиче это отличная новость, но с точки зрения эксперимента это скорее проблема чем бенефит. Все потому что такой активный интерес к новой фиче он временный и если включить его в результаты эксперимента , то ваш ожидаемый средний эффект от новой фичи будет завышен (эффект новизны со временем улетучивается)

Как обнаружить? 🕵️‍♂️
Можно в целом наблюдать этот эффект на временных рядах. То есть как только вы выпустили фичу , есть очень высокая активность, но со временем она улетучивается. Скорее всего эффект новизны будет наиболее заметен на частых пользователей вашего продукта и не виден на новых пользователях. Мне кажется что если присутствует такая комбинация, то это самый верный способ сказать что у нас случился эффект новизны в эксперименте.

Как лечить ?👨‍⚕️
Самый простой и понятный способ отрезать часть дней из анализа где мы наблюдали эффект новизны. И наверное стоит учитывать вероятность эффекта новизны в дизайне эксперимента (очевидно что не во всех экспериментах но может исходить из исторического опыта), что бы не просесть по MDE (Power).

Небольшая заметка по эффекту новизны от Yuzheng Sun (ex Meta, PhD), тут подробнее и более менее с картинками 😊

Quant UX Conference 2024 🧑‍💻

Всем, привет!

Хотел подсветить что с 12 по 14 июня будет проходить самая большая конфа в мире по Quantitative UX Research. (на английском - онлайн )

Напомню , что Quant UX это по сути про численные методы исследования пользовательского опыта, то есть это важная часть нашей с вами работы (продуктовых аналитиков).

На конференции будут выступать эксперты Google , Amazon и так далее (ожидается более 100 сессий). А самое важное - участвовать можно будет бесплатно. (Есть опция выбрать бесплатный билет, но также можно и поддержать конференцию - в общем все зависит от ваших возможностей)

Также если не успеете посмотреть все - будут предоставлены записи 📼

Ссылка на регистрацию

Experimentation Library for intermediates 🥽

Всем привет !

Небольшая предыстория, какое то время назад у меня появилась привычка складывать в saved messages в телеграмм всё что нахожу интересное на просторах интернета 🤓

И тут я на днях решил подразобрать эту самую вкладку и чуть систематизировать ссылки на полезные ресурсы связанные с экспериментами , которые я ещё либо совсем не читал , но собираюсь, либо ресурсы которые я не хочу потерять.

Конечно я разобрал не всё, а где то последние месяца три, что натаскал, но в итоге у меня получился небольшой документ Notion , в котором собралось разных ссылок на материалы (видео + статьи, пока что всего 33) , как на русском , так и на английском языке. Которые включают в себя следующие разделы :

Platforms - тут ссылки на различные статьи по платформам экспериментов, начиная со старой статьи от Авито , заканчивая новой платформой Uber

Proxies - тут про выявления прокси метрик

Long term effects estimation - название говорит само за себя 😊

Experiment design & analysis - тут всякие статьи про свитчбеки , оценки дисперсии для дельта метода и так далее.

Holdouts - название говорит само за себя 😊

Bayesian awareness - проблемы bayesian подхода

AA tests - пока что тут всего одна статья про АА тесты , но буду пополнять.

Other - тут всякая сборная солянка , по типа что и когда использовать : Бандиты или эксперименты ? В общем всё что мне показалось интересным , но не понял куда всунуть.

Хочу сразу сказать, что среди ссылок вы не найдёте статьи по типа : как сравнить конверсии при помощи Z-test ? Подборка рассчитана на людей с более менее устаканившимися знаниями в области экспериментов

В дальнейшем , я планирую добавлять туда новые ссылки , о чём буду анонсировать в канале.
Ставьте 🔥 , если считаете , что этот ресурс может быть полезным для вас

P.S. , приглашаю вас оставлять комментарии со ссылками в документ Notion , к разделам, если знаете ещё какие либо полезные ресурсы и хотели бы поделиться.

Хороший телеграмм канал по АБ

Всем привет !

Недавно обсуждали с Серёжей Матросовым (Principal Product and Marketing Analyst X5 retail group) mSPRT подход в личке и он вдохновился написать серию постов на тему mSPRT у себя в канале (ссылка на первый пост в серии).

Вообще в целом хотел порекомендовать его канал как отличный ресурс по АБ тестам, в нём Серёжа очень понятно и последовательно рассказывает о темах связанных с экспериментами, которые на первый взгляд кажутся сложными, подписывайтесь 😉

Как я объяснил менеджерам почему нельзя останавливать АБ тест когда вздумается 🤓

Какое то время назад я проводил обучение по АБ тестам для продакт и функциональных менеджеров в компании.

Цель этого обучения я видел в следующем : рассказать основы про АБ тесты менеджерам , что бы заэлайнить аналитиков и менеджеров в подходе и таким образом облегчить жизнь одной и другой сторонам.

Основная сложность в таких обученьках то что аудитория не обладает достаточными знаниями по стастике и терверу, что бы заряжать им все по научному, а значит нужно все объяснять на пальцах, иначе обратная сторона экрана может заснуть😄

Одной из ,на первый взгляд, непонятной для объяснения на пальцах тем для меня оказалась длинна эксперимента.
А именно донести до аудитории ответ на вопрос , почему надо ждать сколько то времени тест и почему нельзя останавливать его когда вздумается ? (Иногда его задают аналитикам)

Что бы ответь на этот вопрос я решил провести интерактив во время лекции: я взял две одинаковые монеты и стал их подкидывать 🪙. Одну монету подкинул 10 раз и посчитал конверсию в орла , и с другой монетой я поступил так же. Получилось 0.3 для одной монеты и 0.6 для другой.

После чего спросил аудитории , ну что ребят, выкатываем фичу в прод? 😂

Да такой подход не покрывает всю сторону вопроса , но зато, в моем случае, впечатлил слушателей и как мне сказала одна коллега , она на всегда запомнила почему не правильно останавливать тесты даже когда ты видишь крутые прокрасы 😊

Выкатка изменения без АБ теста которая зааффектит 80% юзеров или как я не смог остановить поезд 🚆, но немного его притормозил

Какое то время назад в продукте дизайнерам стали доверять вести UI изменения самим от начала до конца (от идеи до раскатки на юзеров),без продакт менеджеров от слова совсем , хотели таким образом их подразгрузить и я так понимаю по развивать дизайнеров с точки зрения ownership ну и в целом под разнообразить их жизнь.

В итоге дизайнеры почему то решили игнорировать участие аналитики в процессе разработки и зарелизили два изменения о которых я узнал по факту квартального обзора фичей (стоит правда сказать что изменения произошли в глубинах UI куда доходит 1.5% юзеров ), что меня однозначно возмутило и я получил обещание : «Честн слово больше так не будем»

И вот недавно меня добавляют в канал слаке и говорят : «Мы тут допиливаем дарк мод для приложения, никакие АБ тесты мы решили не делать, скажи какие метрики смотреть, мы сразу выкатим на всех (конкретно в этом случае нет возможности для градюал роллаута)?». Залезая в гугл я узнаю что примерно 60-80% пользователей мобилок юзают дарк мод (темная тема для интерфейса в устройстве и приложения) и мне немного плохеет 😂 , ибо я понимаю что даже малейшее отклонение (-0.5%) конверсии в заказ это более 60к баксов потерь в год.

Немного переведя дух я начал настаивать на АБ тесте , тип ребят, я понимаю что вы очень уверены в своем крутом перекрасе всего UI, но может хотя бы допустим , что может что то пойти не так ? На что я получил твердый ответ главы разработки : «Все будет норм , я не верю что метрика может упасть из за того что мы перекрасили интерфейс в черный цвет, при этом по дефолту люди будут попадать в дарк если у них так стоит в системных настройках, ничего менять не будем, АБ конкретно в этом кейсе 20 стори поинтов».

Ситуацию еще ухудшал тот факт что мой менеджер и глава продукта (не понимаю как он это мог согласовать?) в котором это все происходило были в отпуске 🏝️ и недоступны , на месте находился только глава разработки на которого оставили возможность принимать решения.

Так как я не намерен был сдаваться , я вспомнил свое прошлое в финансах и пошел считать деньги , во сколько малейшее падение может стоить компании, получились достаточно серьезные минуса , более ляма баксов в год про худшем сценарии. 💵

Поделившись этой информацией с ЛПР, он мне сказал: все равно не верю 😂 Но мне почему то кажется , что все таки поверил ибо удалось договориться об АБ тесте на Андройде (он в разработке еще) и по дефолту оставить Light mode для IOS , но сделать коммуникацию в приложении типа : «мы сделали дарк мод, если хочешь нажми сюда и мы его включим». Да, это конечно не АБ тест, но проникновение фичи должно подубавить раз в 5 по моим прикидкам , что все таки подсократит наши риски.

У меня в целом остались смешанные чувства после такого кейса,скорее в свою сторону (может стоило эскалировать прям высоко и дожать до АБ), а как вы бы поступили в таком случае ?

История экспериментов 📖

Всем привет, принес Вам тут интересный артефакт , который накопал в комментариях Linked in , а именно, небольшая статья про историю экспериментов от Рона Кохави 😎

В ней не так много страниц , но есть пару интересных моментов которые я для себя открыл , например : первое документально подтвержденное упоминание (по исследованию Рона) экспериментов было еще в ветхом завете в книге Даниэля от 2го века нашей эры (сам кейс прочтёте в статье 😅, не буду спойлерить)

В общем , если интересна такая тематика , то милости прошу к чтению 🤓

Все мы хоть раз за свою карьеру были справа 😂😂😂

Всем привет!

Ребята из NewHR недавно запустили опросник по рынку аналитиков , что исследуют :

👉 Зарплаты и их динамика.
👉 Рейтинг работодателей для аналитиков
👉 Где и как работают аналитики
👉 Как меняется зона ответственности аналитиков
👉 Как аналитики ищут работу и выбирают работодателя.
👉 Чему учатся аналитики
👉 Каких экспертов котируют

Считаю такие исследования супер полезными, особенно с точки зрения рынка заплат 💰(как еще нам понимать , много мы сейчас получаем или мало?), поэтому приглашаю всех коллег поучаствовать , у вас это займет примерно 15-20 минут, а пользы сообществу принесет очень много 🙏🏻