Артур Маликов из Яндекса про то, на что следует обратить внимание для внедрения АБТ
Видео: https://youtu.be/Vcz266BJqok?list=PLH-XmS0lSi_zZxi7wen923-rQPIspbb1o
Тезисы: http://backendconf.ru/2016/abstracts/2101.html
Видео: https://youtu.be/Vcz266BJqok?list=PLH-XmS0lSi_zZxi7wen923-rQPIspbb1o
Тезисы: http://backendconf.ru/2016/abstracts/2101.html
Сергей Мыц и Данил Валгушев про то, как устроено АБТ в Яндексе
Текст: https://habr.com/company/yandex/blog/342704/
Видео: https://www.youtube.com/watch?v=dDm2JIMBac8
Текст: https://habr.com/company/yandex/blog/342704/
Видео: https://www.youtube.com/watch?v=dDm2JIMBac8
Хабр
Как у нас устроено AB-тестирование. Лекция Яндекса
AB-тестирование на сервисах Яндекса проводится постоянно. «Раскатить на такую-то долю аудитории» и посмотреть на реакцию людей — настолько стандартная практика,...
Роман Поборчий из Яндекса про АБТ
видео: https://www.youtube.com/watch?v=sxBE3XMsQCw
ещё видео: https://www.youtube.com/watch?v=AEi2rQLHhdQ
видео: https://www.youtube.com/watch?v=sxBE3XMsQCw
ещё видео: https://www.youtube.com/watch?v=AEi2rQLHhdQ
YouTube
Роман Поборчий — Ваши A/B-тесты сломаны
Ближайшая конференция — Heisenbug 2025 Autumn, 19—20 октября, Санкт-Петербург + online. Подробности и билеты: https://jrg.su/D6uGC9
— Ближайшая конференция: Heisenbug 2023 Autumn — 10–11 октября (online), 15–16 октября (offline)
Подробности и билеты: htt…
— Ближайшая конференция: Heisenbug 2023 Autumn — 10–11 октября (online), 15–16 октября (offline)
Подробности и билеты: htt…
Глеб Сологуб из SkyEng про то, как не надо проводить ABT
видео: https://www.youtube.com/watch?v=SE9sUeSU550
видео: https://www.youtube.com/watch?v=SE9sUeSU550
YouTube
Как не надо планировать и проводить А/В тесты — Глеб Сологуб, AIC Analytics Day: Fail Compilation
Выступление на митапе AIC Analytics Day: Fail Compilation, где я рассказал о границах применимости A/B тестов.
Слайды: https://docs.google.com/presentation/d/17XpjeZ81wc8uO-MHRfRYm_mvJosRd1u0bXyfTsvyinY/edit?usp=sharing
Слайды: https://docs.google.com/presentation/d/17XpjeZ81wc8uO-MHRfRYm_mvJosRd1u0bXyfTsvyinY/edit?usp=sharing
Олег Якубенков из Facebook про то, как не надо анализировать A/B тесты
текст: https://gopractice.ru/how-not-to-analyze-abtests/
текст: https://gopractice.ru/how-not-to-analyze-abtests/
GoPractice
ᐈ Как не надо анализировать A/B-тесты. Проблема подглядывания
Зачем измерять статистическую значимость и как проблема подглядывания мешает правильному анализу результатов эксперимента.
Олег Якубенков из Facebook про то, как просто реализовать А/Б тестирование в мобильном приложении
текст: https://gopractice.ru/ab_testing_mobile_apps/
текст: https://gopractice.ru/ab_testing_mobile_apps/
GoPractice
ᐈ A/B тестирование мобильных приложений. Как просто реализовать A/B эксперимент в мобильном приложении?
Как просто и бесплатно провести A/B тестирование в мобильном приложении? Как провести тестирование быстро?
Джейсон Хартлайн из Northwestern University 7 августа 18:00 в офисе Яндекса расскажет про A/B-тестирование дизайна аукционов
ЦА: разработчики и технические люди
Мероприятие: https://events.yandex.ru/events/science-seminars/07-aug-2018/
ЦА: разработчики и технические люди
Мероприятие: https://events.yandex.ru/events/science-seminars/07-aug-2018/
events.yandex.ru
A/B Testing of Auctions, 7 августа 2018, Москва — События Яндекса
События — вся информация о конференциях, школах, семинарах и других мероприятиях Яндекса — как прошедших, так и предстоящих.
Ребята из Server Density протестировали изменения цен и увеличили доход на 114%
оригинал: https://vwo.com/blog/saas-pricing-ab-test/
перевод: http://tilda.education/articles-yourfirstabtest#rec4328495
оригинал: https://vwo.com/blog/saas-pricing-ab-test/
перевод: http://tilda.education/articles-yourfirstabtest#rec4328495
Website
How Server Density Used VWO To Increase Its Revenue By 114%
Server Density is a hosted server and website monitoring service. They monitor websites from locations around the world combined with internal server metrics so you know when your site is down and have the server metrics to figure out why.
Александр Писаренко из Kepler Leads про 10 примеров по увеличению конверсии в 2 и более раз
текст: https://keplerleads.com/blog/10-sovetov/
текст: https://keplerleads.com/blog/10-sovetov/
Keplerleads
10 примеров по увеличению конверсии в 2 и более раз
Стас Гафаров из Сбербанка про план проверки статистических гипотез
1️⃣ Определить основную (нулевую) гипотезу;
2️⃣ Задать статистический критерий, т.е. задать статистику критерия (читай тип), задать критическую область (тоже тип). Основные типы критериев: параметрические, непараметрические. Вопрос о том, какую статистику надо взять для проверки той или иной гипотезы, часто не имеет однозначного ответа;
3️⃣ Определить уровень значимости;
4️⃣ Выбрать группы для теста. Проверить несколько раз что эти группы не пересекаются;
5️⃣ Сам тест, по сути проверка условия что «данные не противоречат нулевой гипотезе при уровне значимости \alpha». Если да, то гипотеза принимается.
Ссылки на математику по теме проверки гипотез:
🐈 лайтовая: http://statistica.ru/theory/proverka-gipotez/
🦁 хардкорная: http://www.machinelearning.ru/wiki/index.php?noscript=Проверка_статистических_гипотез
1️⃣ Определить основную (нулевую) гипотезу;
2️⃣ Задать статистический критерий, т.е. задать статистику критерия (читай тип), задать критическую область (тоже тип). Основные типы критериев: параметрические, непараметрические. Вопрос о том, какую статистику надо взять для проверки той или иной гипотезы, часто не имеет однозначного ответа;
3️⃣ Определить уровень значимости;
4️⃣ Выбрать группы для теста. Проверить несколько раз что эти группы не пересекаются;
5️⃣ Сам тест, по сути проверка условия что «данные не противоречат нулевой гипотезе при уровне значимости \alpha». Если да, то гипотеза принимается.
Ссылки на математику по теме проверки гипотез:
🐈 лайтовая: http://statistica.ru/theory/proverka-gipotez/
🦁 хардкорная: http://www.machinelearning.ru/wiki/index.php?noscript=Проверка_статистических_гипотез
Станислав Видяев из Google Russia про настройку A/Б-тестирования сайтов с помощью Google Optimize
текст: https://www.thinkwithgoogle.com/intl/ru-ru/ad-solutions/mobile/how-to-ab-test/
видео: https://youtu.be/k8rOXypBuGA
текст: https://www.thinkwithgoogle.com/intl/ru-ru/ad-solutions/mobile/how-to-ab-test/
видео: https://youtu.be/k8rOXypBuGA
Think with Google
Think with Google - Discover Marketing Research & Digital Trends
Uncover the latest marketing research and digital trends with data reports, guides, infographics, and articles from Think with Google.
Олег Якубенков из Facebook про то, почему ваши A/B тесты требуют больше времени, чем могли бы
текст: https://gopractice.ru/exposing_users_to_abtest/
текст: https://gopractice.ru/exposing_users_to_abtest/
GoPractice
ᐈ Почему ваши A/B-тесты требуют больше времени, чем могли бы
Каким образом правильный дизайн эксперимента позволяет сократить время его проведения и проще оценить эффект от изменений.