В продолжение темы A/B-тестирования.

На Матемаркетинге будет огромная секция посвященная сплит-тестам.

Когда мы собирали программу, я настаивал на том, чтобы мы начали с теории планирования эксперимента, а закончили физическим смыслом метрик и управлением их чувствительностью.
В начале лета я «засыпался» на А/Б-тестах в интервью с руководителем одного из самых крутых R&D на рынке, поэтому секция А/Б-тестирования на Матемаркетинге, можно сказать, выстрадана

Так вот. Что разбираем:
Начинаем с Анатолия Карпова (это именно тот человек, по чьему курсу на Stepic вы учили матстат). Он расскажет о том, как сделать так, чтобы А/Б-тестирование заработало. Это простой доклад.

Далее:
- Как создать инфраструктуру для обеспечения централизации обработки и автоматизации A/B-тестирования. На примере Авито. Будет полезно тем, кто работает в крупных компаниях.
- Практические кейсы построения аналитической инфраструктуры в небольшой интернет-компании. Для тех, у кого мало данных, времени и денег.
- Как ускорить сотни А/Б-тестов в десятки раз. Это сложный доклад с глубокой математической базой.
Далее, снова два сложных доклада о том, как валидировать и развивать метрики и увеличивать их чувствительность.

На какие вопросы получим ответ:

- Подходы к процессам централизации и автоматизации А/В-тестирования.
- Как устроена инфраструктура в Авито с погружением в детали:
-обеспечение безопасного сплита трафика в А/Б-тестах,
-различные типы метрик,
оптимизация тестирования,
-визуализация данных
- Как с помощью линеаризации, перевзвешивания, машинного обучения и баесовского вывода можно ускорить а/б тестирование в десятки раз
- Как обеспечить грамотную формулировка требований к аналитической инфраструктуре в компании
- Какие подводные камни ожидают аналитиков при проведении экспериментов и как научиться их избегать.
- Как проведить ухудшающие А/Б-тесты, проводить проверку согласованности с более высокоуровневыми метриками и измерять чувствительность метрик и проверять корректность своей системы расчёта статистической значимости
- Кейсы про неверный выбор или интерпретацию метрик.
- Как работает метод стратификации и другие подходы к сокращению дисперсии для увеличения чувствительности метрик в экспериментах.
- Как, выбирая ключевую метрику для эксперимента, понимать область её применимости, чувствительность, уровень в иерархии.

Лекции читают Данила Леньков из Avito, Игорь Яшков из Яндекс, Валерий Бабушкин из Х5 Retail Group, Даша Чиркина из Яндекс, Виталий Черемисинов и Искандер Мирмахмадов из AIC, Анатолий Карпов из (ex)VK / Stepik / Quesful.

Еще подробнее все описано в программе: http://bit.ly/33SYfe0
+ у нас есть один свободный слот в этой секции. Подать заявку на участие с докладом в этой секции можно здесь: https://matemarketing.typeform.com/to/DmniEj

Перешлите этот пост вашим продактам и продуктовым аналитикам. А также тем, кто руководит R&D.

Кроме лекций будут дискуссионные форматы, на которых можно будет вместе подумать над конкретно вашей задачей.

Ждем вас на Матемаркетинге.
https://matemarketing.ru/

Когда деньги — это основная метрика в А/Б-тесте:
https://www.thinkwithgoogle.com/intl/ru-ru/products-tools/analytical-tools/money-and-ab-tests/

via @ABtesting

7 классных докладов с прошлогоднего Матемаркетинга.

В этом году - темы еще круче и их больше

@matemarketing_official

Share, please!

Интересно и наглядно о permutation testing:
https://www.jwilber.me/permutationtest/

via @ABtesting

Дельные советы. О самых частых ошибках в A/B тестировании: https://medium.com/manomano-tech/a-b-testing-10-common-mistakes-we-all-make-97a5030f1d44

via @ABtesting

Отличная статья от ребят из X5. Всем ребятам с рынка рекомендую ознакомиться, дабы расширить свой кругозор и иметь представление, как могут проводиться АБ-тесты в оффлайн ритейле.

https://habr.com/ru/company/X5RetailGroup/blog/466349/

Обучение статистике с помощью интерактивных визуализаций от Daniel Kunin

https://seeing-theory.brown.edu

via @ABtesting

О степенях свободы в статистике:
https://habr.com/ru/company/stepic/blog/311354/

via @ABtesting

Как провести A/B-тест и не наделать ошибок. Влад Прищепов и Леонид Енов:
https://www.youtube.com/watch?v=sVKzq0xQ5vU

via @ABtesting

The Power of Bayesian A/B Testing:
https://medium.com/convoy-tech/the-power-of-bayesian-a-b-testing-f859d2219d5

via @ABtesting

Две фундаментальные проблемы с A/B тестированием в продукте: https://mobiledevmemo.com/two-fundamental-problems-with-product-a-b-testing/

via @ABtesting

Очень хороший и практичный материал о развитии продуктов. О том как планировать A/B тесты и соблюдать баланс между оптимизационными и иновационными изменениями.

via @ProductAnalytics

7-8 декабря Виталий Черемисинов и Искандер Мирмахмадов проведут очередной интенсив по анализу данных, матстатистике и a/b тестам: https://experiment-fest.ru/ab_course

Отличный канал Сергея Гудкова об экспериментах с конверсией и прибылью. Масса полезных практических советов.

@conversion_and_analytics

via @ABtesting

Валерий Бабушкин о том, как эффективно собирать и использовать данные, создавать конкурентные и точные предложения для потребителей, минимизировать отток клиентов и понимать их ценовую эластичность.

https://www.youtube.com/watch?v=XWw4Wi6K0QU

На Матемаркетинг 14 ноября Валерий расскажет, как ускорить А/В-тестирование с помощью машинного обучения.

@matemarketing_official

Билеты здесь: https://matemarketing.ru/

A/B test калькулятор в Google Sheets:
https://docs.google.com/spreadsheets/d/18w387uonW8zF1_6NtAuBKnQgDNp0qKSlCYu2IAdQ5Ks/edit#gid=1997184298

И как им пользоваться:
https://medium.com/@aleksandrosiyuk/автоматизация-результатов-a-b-тестирования-cf3b1f99a218

via @ABtesting

Отдельная секция по А/Б-тестированию: 6 докладов от ребят из Яндекса, Авито, AIC, X5 Retail Group. Темы затрагивают весь цикл проведения сплит-тестов. От теории планирования эксперимента и управления чувствительностью метрик, до построения аналитической инфраструктуры.

+ лекции и мастер-классы Адриана Грегори из Amplitude, от Максима Годзи из Retentoneering и актуальные кейсы от Ильи Красинского.

Подробная программа: http://bit.ly/33SYfe0 (на второй вкладке - детальное описание всех тем)

Купить билет: https://matemarketing.timepad.ru/event/992934/

via @ABtesting

Краткий видео-курс по байесовскому тестированию:
https://www.youtube.com/playlist?list=PLAKBwakacHbRRw278HMXpCsOOIIcLYGX5

via @ABtesting

Эффективное АБ тестирование. Видео. https://www.youtube.com/embed/4sG40hyQ7WI?loop=0&autoplay=0&mute=0

Эффективное АБ тестирование. Презентация.

Как растили retention и искали retention-драйвер в продукте iFunny, какие A/B-тесты делали и какие результаты получали, Михаил Табунов

https://www.youtube.com/watch?v=UJkXIqSzlAo

via @ABtesting