Книга с experiment Fest по АБ тестам

кейсы для практической части
https://www.notion.so/analyticsvit/ExperimentFest-a9a6926419794460b5133954ae4c789b


Для решения кейсов используем калькулятор во вкладке «Cases & Practice» https://experimentfest.shinyapps.io/ExperimentFestCalculator/

Друзья, спасибо что были с нами целые выходные! 1) Ссылки на онлайн трансляцию
28 сентября
Cсылка - http://facecast.net/v/qwelw8
Пароль - Hdjwurufbdb
29 сентября
Cсылка - http://facecast.net/v/tijpqu
Пароль - jkhkfhjgjtjkhf

2) Симулятор a/b тестов
https://experimentfest.shinyapps.io/ExperimentFestCalculator/ 3) Домашнее задание - https://www.notion.so/analyticsvit/dc276e42b6f146b7a7beee9a5cbc348f
Форма для отправки домашнего задания - https://forms.gle/CCrsFVG99qgg5xBt5 Мы вам будем очень благодарны, если вы оставите про нас отзыв в FB со сслылкой на интенсив - https://experiment-fest.ru/ab_course Пройдете небольшой опрос, он займет не больше 5ти минут, нам очень важно знать ваше мнение. https://forms.gle/cVpcD7kAtD9ujCmE9

Сергей Мыц и Данил Валгушев про то, как устроено АБТ в Яндексе

Текст: https://habr.com/company/yandex/blog/342704/
Видео: https://www.youtube.com/watch?v=dDm2JIMBac8

Роман Поборчий из Яндекса про АБТ

видео: https://www.youtube.com/watch?v=sxBE3XMsQCw
ещё видео: https://www.youtube.com/watch?v=AEi2rQLHhdQ

Глеб Сологуб из SkyEng про то, как не надо проводить ABT

видео: https://www.youtube.com/watch?v=SE9sUeSU550

Виталий Чермисинов из AIC про принципы АБТ

видео: https://vimeo.com/211083513

Олег Якубенков из Facebook про то, как не надо анализировать A/B тесты

текст: https://gopractice.ru/how-not-to-analyze-abtests/

Олег Якубенков из Facebook про то, как просто реализовать А/Б тестирование в мобильном приложении

текст: https://gopractice.ru/ab_testing_mobile_apps/

Ребята из Server Density протестировали изменения цен и увеличили доход на 114%

оригинал: https://vwo.com/blog/saas-pricing-ab-test/

перевод: http://tilda.education/articles-yourfirstabtest#rec4328495

Станислав Видяев из Google Russia про настройку A/Б-тестирования сайтов с помощью Google Optimize

текст: https://www.thinkwithgoogle.com/intl/ru-ru/ad-solutions/mobile/how-to-ab-test/

видео: https://youtu.be/k8rOXypBuGA

Олег Якубенков из Facebook про то, почему ваши A/B тесты требуют больше времени, чем могли бы

текст: https://gopractice.ru/exposing_users_to_abtest/

Полина Опарина из DocDoc про A/B тестирование в мобильных приложениях на Product Camp Minsk 2018

Ниже приведён текст самой презентации, опубликованный докладчиком на странице в Facebook.

- - -

Этот доклад будет вам интересен, если

- У вас есть мобильное приложение.
- Вы не делаете A/B тесты, но хотели бы начать.
- Вы выбираете решение для A/B тестирования в приложении.
- Вы уже используете какой-то инструмент, но он вас не устраивает.

Этой зимой у нас появилась задача внедрить инструмент для A/B тестирования в приложении DocDoc.

Первым делом мы проанализировали готовые решения и обнаружили ряд проблем.
Об этом есть отдельный слайд в презентации. Но самым критичным для нас была невозможность выгрузить сырые данные и гибко управлять сплитами.
Инструменты развиваются. И, возможно, сейчас уже нет такой проблемы в Firebase и ему подобных, но на тот момент ни одно готовое решение нас не устроило.

Зато мы поняли, что сделать инструмент для A/B тестирования самим это не rocket science.

Нужно всего лишь сделать:
- Механизм сплитования
- Апишку
- Админку для настройки фич
- Немного магии на стороне мобильной разработки
- Отчётность

Наши сплиты построены на основе случайной части GA Client ID.
Это случайное число от 0 до 255.
В админке для каждой фича задаются правила сплитов. Например, (0; 127) - фича выключена, (128; 255) - фича включена.

Split ID и правила определяют набор фичей, доступных клиенту.

Этот набор закодирован в Feature_status. Вместо конфига мы используем двоичное число. Каждой фича соответствует свой разряд, который может принимать значения 0 (фича выключена) или 1 (фича включена).

Feature_status пробрасывается в GA в Custom dimension. Число пользовательских параметров в GA ограничено (не больше 20). Но мы не упираемся в этой ограничений, тк занимаем всего один кастомный параметр.

Подробнее о техническом решении расскал великолепный Aleksander Krasnov на AppsConf 🖤

Каждый тест проходит такой цикл:
- Заводим новое правило в админке
- Реализуем логику в коде
- Релизим приложение
- Запускаем тест
- Ждём
- Анализируем результаты
- Принимаем решение, какой вариант остаётся
- Включаем в админке победителя на 100%
- Вычищаем из кода проигравший вариант

По сути мы получили инструмент для A/B тестирования + remote config.

Это позволяет нам проверять гипотезы, отслеживать фактическое влияние запущенных фич на метрики, делать постепенную выкатку функционала.

Для любителей цифр:
- На разработку решения мы потратили суммарно около 280 человеко-часов.
- Примерно на 30% увеличивается стоимость разработки и тестирования, если фича делается через A/B.
- Максимальный ROI дают тесты заголовков, конверсионных подписей, текстов пушей.

Презентация: https://goo.gl/qMi7nZ

Виталий Котов из Badoo про покрытие A/B-тестов UI-тестами

Мы создали интерфейс для удобного контроля над покрытием A/B-тестов; в результате теперь у нас есть вся информация о работе UI-тестов с A/B-тестами;

Мы выработали для себя способ написания временных UI-тестов с простым и эффективным флоу их дальнейшего удаления или перевода в ряды постоянных;

Мы научились легко и безболезненно тестировать релизы A/B-тестов, не мешая другим запущенным UI-тестам, и без излишних коммитов в Git.

Всё это позволило адаптировать автоматизацию тестирования под постоянно меняющиеся фичи, легко контролировать и увеличивать уровень покрытия и не зарастать легаси-кодом.

Ссылка: https://habr.com/company/badoo/blog/434448/

Как запускать эксперименты в Google.Analytics

🤓 По просьбе подписчика публикую ссылку на справку, в которой подробно описывается как запустить свой первый AБТ в GA.

Ссылка: https://support.google.com/analytics/answer/1745152?hl=ru

A/B-тесты в Яндекс.Браузере. Большой продукт – большая ответственность:
https://www.youtube.com/watch?v=fCcaMp_9gBk

Расчёт каннибализации на основе классического A/B-теста и метод bootstrap’а:
https://habr.com/ru/post/451488/

Подборка статей про AB-тесты от Антона Марцена:
https://medium.com/productscience/awesome-ab-experiments-list-718bbb7bcd26

Шпаргалка по тому, какой статистический критерий(/тест) использовать в разных случаях.

via @ABtesting