Артур Маликов из Яндекса про то, на что следует обратить внимание для внедрения АБТ

Видео: https://youtu.be/Vcz266BJqok?list=PLH-XmS0lSi_zZxi7wen923-rQPIspbb1o
Тезисы: http://backendconf.ru/2016/abstracts/2101.html

Сергей Мыц и Данил Валгушев про то, как устроено АБТ в Яндексе

Текст: https://habr.com/company/yandex/blog/342704/
Видео: https://www.youtube.com/watch?v=dDm2JIMBac8

Эксперименты в Майкрософт

сайт: https://exp-platform.com/experiments-at-microsoft/

Роман Поборчий из Яндекса про АБТ

видео: https://www.youtube.com/watch?v=sxBE3XMsQCw
ещё видео: https://www.youtube.com/watch?v=AEi2rQLHhdQ

Глеб Сологуб из SkyEng про то, как не надо проводить ABT

видео: https://www.youtube.com/watch?v=SE9sUeSU550

Виталий Чермисинов из AIC про принципы АБТ

видео: https://vimeo.com/211083513

Maria Ligia Klokner from Booking.com about UX and A/B Testing

video: https://youtu.be/C-U1Pakvk2A

Олег Якубенков из Facebook про то, как не надо анализировать A/B тесты

текст: https://gopractice.ru/how-not-to-analyze-abtests/

Паша Шишкин из Chatfuel про Aha-moment и продуктовые гипотезы

видео: https://youtu.be/xjqLk_8nGRo

Олег Якубенков из Facebook про то, как просто реализовать А/Б тестирование в мобильном приложении

текст: https://gopractice.ru/ab_testing_mobile_apps/

Джейсон Хартлайн из Northwestern University 7 августа 18:00 в офисе Яндекса расскажет про A/B-тестирование дизайна аукционов

ЦА: разработчики и технические люди

Мероприятие: https://events.yandex.ru/events/science-seminars/07-aug-2018/

Ребята из Server Density протестировали изменения цен и увеличили доход на 114%

оригинал: https://vwo.com/blog/saas-pricing-ab-test/

перевод: http://tilda.education/articles-yourfirstabtest#rec4328495

Александр Писаренко из Kepler Leads про 10 примеров по увеличению конверсии в 2 и более раз

текст: https://keplerleads.com/blog/10-sovetov/

Стас Гафаров из Сбербанка про план проверки статистических гипотез

1️⃣ Определить основную (нулевую) гипотезу;

2️⃣ Задать статистический критерий, т.е. задать статистику критерия (читай тип), задать критическую область (тоже тип). Основные типы критериев: параметрические, непараметрические. Вопрос о том, какую статистику надо взять для проверки той или иной гипотезы, часто не имеет однозначного ответа;

3️⃣ Определить уровень значимости;

4️⃣ Выбрать группы для теста. Проверить несколько раз что эти группы не пересекаются;

5️⃣ Сам тест, по сути проверка условия что «данные не противоречат нулевой гипотезе при уровне значимости \alpha». Если да, то гипотеза принимается.

Ссылки на математику по теме проверки гипотез:
🐈 лайтовая: http://statistica.ru/theory/proverka-gipotez/
🦁 хардкорная: http://www.machinelearning.ru/wiki/index.php?noscript=Проверка_статистических_гипотез

Станислав Видяев из Google Russia про настройку A/Б-тестирования сайтов с помощью Google Optimize

текст: https://www.thinkwithgoogle.com/intl/ru-ru/ad-solutions/mobile/how-to-ab-test/

видео: https://youtu.be/k8rOXypBuGA

Олег Якубенков из Facebook про то, почему ваши A/B тесты требуют больше времени, чем могли бы

текст: https://gopractice.ru/exposing_users_to_abtest/

Steve Urban, Rangarajan Sreenivasan, and Vineet Kannan from NetFlix about The Netflix Experimentation Platform

текст: https://medium.com/netflix-techblog/its-all-a-bout-testing-the-netflix-experimentation-platform-4e1ca458c15

The Pitfalls of Running A/B Tests from Ariel Verber

Many people who create digital products have probably heard of the term ‘Designing with Data’. It’s a very obvious practice, that suggests that making intuition-based decisions is not enough, and better decisions are usually supported by quantitative or qualitative evidence.

This leads many teams to run A/B Tests. In short, A/B tests are a way to offer slightly different versions of your product to users of the same initial group, and measure the difference in their behavior. They’re probably one of the best ways to bring actionable data.

The reason A/B tests are so effective, is because they basically mean asking your users absolute questions with 100% truth in the results. For example, by running a simple A/B test you can ask ‘How many extra sales will I make if I offer free shipping worldwide?’. To get an answer for this question, all you need to do is to offer free shipping to 50% of your users, and measure the sales in that group compared to the rest. Then, using simple calculations, you can measure the profitability of adding ‘free shipping’ and decide if it’s worth it or not.

I’ve always been a big advocate of A/B tests, but time led me to learn that they’re highly addictive and sometimes not very justified.

There may be pitfalls that will lead you into making a bad choice. Here are a few examples:
1. Some of the impact may be unforeseen at first
2. Query mistakes are a thing
3. The sample size has to be big enough
4. Numbers don’t have human empathy
5. A/B tests may slow you down

Whole article: https://medium.com/joytunes/the-pitfalls-of-running-a-b-tests-4da7141960d7