Forwarded from A/B testing
Небольшой гайд как подходить к А/В-тестированию:
https://towardsdatascience.com/how-to-a-b-test-without-spending-a-dime-60c4112f8f4e
via @ABtesting
https://towardsdatascience.com/how-to-a-b-test-without-spending-a-dime-60c4112f8f4e
via @ABtesting
Medium
How to A/B test without spending a dime
Get statistically significant results without paying for a testing platform
exp_fest_guidebook_092019.pdf
10.2 MB
Книга с experiment Fest по АБ тестам
Forwarded from Iskαnder
Материалы на изучение
- Доклад Романа Поборчий про Teamdraft Interleaving (https://www.youtube.com/watch?v=voY7waRb_D0)
- Как сокращает дисперсию Яндекс https://www.youtube.com/watch?v=inGuisuMjpw
- Как устроено АБ в Убере https://eng.uber.com/xp/
- Как устроено АБ в Нетфликсе https://medium.com/netflix-techblog
- Как устроено АБ в Airbnb https://medium.com/airbnb-engineering/https-medium-com-jonathan-parks-scaling-erf-23fd17c91166
- Как устроено АБ в Авито https://habr.com/ru/company/avito/blog/454164/
- Степени свободы понятным языком https://habr.com/ru/company/stepic/blog/311354/
- Процедуры множественной проверки гипотез https://r-analytics.blogspot.com/2013/11/blog-post.html
- Проблема подглядываний (после прочтения проверки множественных гипотез) http://varianceexplained.org/r/bayesian-ab-testing/
- Про бутстрап https://ocw.mit.edu/courses/mathematics/18-05-introduction-to-probability-and-statistics-spring-2014/readings/MIT18_05S14_Reading24.pdf
Ссылка на видео 1-го дня
28 сентября
Cсылка - http://facecast.net/v/qwelw8
Пароль - Hdjwurufbdb
- Доклад Романа Поборчий про Teamdraft Interleaving (https://www.youtube.com/watch?v=voY7waRb_D0)
- Как сокращает дисперсию Яндекс https://www.youtube.com/watch?v=inGuisuMjpw
- Как устроено АБ в Убере https://eng.uber.com/xp/
- Как устроено АБ в Нетфликсе https://medium.com/netflix-techblog
- Как устроено АБ в Airbnb https://medium.com/airbnb-engineering/https-medium-com-jonathan-parks-scaling-erf-23fd17c91166
- Как устроено АБ в Авито https://habr.com/ru/company/avito/blog/454164/
- Степени свободы понятным языком https://habr.com/ru/company/stepic/blog/311354/
- Процедуры множественной проверки гипотез https://r-analytics.blogspot.com/2013/11/blog-post.html
- Проблема подглядываний (после прочтения проверки множественных гипотез) http://varianceexplained.org/r/bayesian-ab-testing/
- Про бутстрап https://ocw.mit.edu/courses/mathematics/18-05-introduction-to-probability-and-statistics-spring-2014/readings/MIT18_05S14_Reading24.pdf
Ссылка на видео 1-го дня
28 сентября
Cсылка - http://facecast.net/v/qwelw8
Пароль - Hdjwurufbdb
YouTube
Роман Поборчий — «Team-Draft Interleaving», AIC Analytics Day
AIC Analytics Day #4, 27 октября 2018 года
Роман Поборчий, ex-Head of Search Quality Evaluation («Яндекс»). Тема выступления — Team-Draft Interleaving: высокочувствительный метод для пользовательских экспериментов.
Роман Поборчий, ex-Head of Search Quality Evaluation («Яндекс»). Тема выступления — Team-Draft Interleaving: высокочувствительный метод для пользовательских экспериментов.
Forwarded from Vit Cheremisinov
кейсы для практической части
https://www.notion.so/analyticsvit/ExperimentFest-a9a6926419794460b5133954ae4c789b
Для решения кейсов используем калькулятор во вкладке «Cases & Practice» https://experimentfest.shinyapps.io/ExperimentFestCalculator/
https://www.notion.so/analyticsvit/ExperimentFest-a9a6926419794460b5133954ae4c789b
Для решения кейсов используем калькулятор во вкладке «Cases & Practice» https://experimentfest.shinyapps.io/ExperimentFestCalculator/
Forwarded from Iskαnder
Материалы к лекции второго дня
Bootstrap. Хорошее объяснение в этой лекции https://www.coursera.org/learn/inferential-statistics-intro/lecture/u3k1n/bootstrapping
либо это видео https://www.youtube.com/watch?v=gcPIyeqymOU
Перцентильный bootstrap https://garstats.wordpress.com/2016/05/27/the-percentile-bootstrap/
Пакет R для квантильного сравнения с помощью бутстрэпа (тут включена коррекция на множ. сравнения и коррекция bias’а для квантилей) https://github.com/GRousselet/rogme
Проверка АА-теста с помощью бутстрэпа https://habr.com/ru/company/hh/blog/321386/
Статья про последовательный анализ от optimizely http://pages.optimizely.com/rs/optimizely/images/stats_engine_technical_paper.pdf
Последовательный анализ на Random Walk https://www.evanmiller.org/sequential-ab-testing.html
Последовательный анализ в Uber https://www.youtube.com/watch?v=4rWOx5fOJbg
Uber тоже использует mSPRT. Частично описано в https://eng.uber.com/xp/
Материалы exp-platform (Microsoft) https://exp-platform.com
Bootstrap. Хорошее объяснение в этой лекции https://www.coursera.org/learn/inferential-statistics-intro/lecture/u3k1n/bootstrapping
либо это видео https://www.youtube.com/watch?v=gcPIyeqymOU
Перцентильный bootstrap https://garstats.wordpress.com/2016/05/27/the-percentile-bootstrap/
Пакет R для квантильного сравнения с помощью бутстрэпа (тут включена коррекция на множ. сравнения и коррекция bias’а для квантилей) https://github.com/GRousselet/rogme
Проверка АА-теста с помощью бутстрэпа https://habr.com/ru/company/hh/blog/321386/
Статья про последовательный анализ от optimizely http://pages.optimizely.com/rs/optimizely/images/stats_engine_technical_paper.pdf
Последовательный анализ на Random Walk https://www.evanmiller.org/sequential-ab-testing.html
Последовательный анализ в Uber https://www.youtube.com/watch?v=4rWOx5fOJbg
Uber тоже использует mSPRT. Частично описано в https://eng.uber.com/xp/
Материалы exp-platform (Microsoft) https://exp-platform.com
Forwarded from Vit Cheremisinov
Друзья, спасибо что были с нами целые выходные! 1) Ссылки на онлайн трансляцию
28 сентября
Cсылка - http://facecast.net/v/qwelw8
Пароль - Hdjwurufbdb
29 сентября
Cсылка - http://facecast.net/v/tijpqu
Пароль - jkhkfhjgjtjkhf
2) Симулятор a/b тестов
https://experimentfest.shinyapps.io/ExperimentFestCalculator/ 3) Домашнее задание - https://www.notion.so/analyticsvit/dc276e42b6f146b7a7beee9a5cbc348f
Форма для отправки домашнего задания - https://forms.gle/CCrsFVG99qgg5xBt5 Мы вам будем очень благодарны, если вы оставите про нас отзыв в FB со сслылкой на интенсив - https://experiment-fest.ru/ab_course Пройдете небольшой опрос, он займет не больше 5ти минут, нам очень важно знать ваше мнение. https://forms.gle/cVpcD7kAtD9ujCmE9
28 сентября
Cсылка - http://facecast.net/v/qwelw8
Пароль - Hdjwurufbdb
29 сентября
Cсылка - http://facecast.net/v/tijpqu
Пароль - jkhkfhjgjtjkhf
2) Симулятор a/b тестов
https://experimentfest.shinyapps.io/ExperimentFestCalculator/ 3) Домашнее задание - https://www.notion.so/analyticsvit/dc276e42b6f146b7a7beee9a5cbc348f
Форма для отправки домашнего задания - https://forms.gle/CCrsFVG99qgg5xBt5 Мы вам будем очень благодарны, если вы оставите про нас отзыв в FB со сслылкой на интенсив - https://experiment-fest.ru/ab_course Пройдете небольшой опрос, он займет не больше 5ти минут, нам очень важно знать ваше мнение. https://forms.gle/cVpcD7kAtD9ujCmE9
v+i=data monsters on Notion
Домашнее задание
Задание 1
Forwarded from A/B testing
Сергей Мыц и Данил Валгушев про то, как устроено АБТ в Яндексе
Текст: https://habr.com/company/yandex/blog/342704/
Видео: https://www.youtube.com/watch?v=dDm2JIMBac8
Текст: https://habr.com/company/yandex/blog/342704/
Видео: https://www.youtube.com/watch?v=dDm2JIMBac8
Хабр
Как у нас устроено AB-тестирование. Лекция Яндекса
AB-тестирование на сервисах Яндекса проводится постоянно. «Раскатить на такую-то долю аудитории» и посмотреть на реакцию людей — настолько стандартная практика,...
Forwarded from A/B testing
Роман Поборчий из Яндекса про АБТ
видео: https://www.youtube.com/watch?v=sxBE3XMsQCw
ещё видео: https://www.youtube.com/watch?v=AEi2rQLHhdQ
видео: https://www.youtube.com/watch?v=sxBE3XMsQCw
ещё видео: https://www.youtube.com/watch?v=AEi2rQLHhdQ
YouTube
Роман Поборчий — Ваши A/B-тесты сломаны
Ближайшая конференция — Heisenbug 2025 Autumn, 19—20 октября, Санкт-Петербург + online. Подробности и билеты: https://jrg.su/D6uGC9
— Ближайшая конференция: Heisenbug 2023 Autumn — 10–11 октября (online), 15–16 октября (offline)
Подробности и билеты: htt…
— Ближайшая конференция: Heisenbug 2023 Autumn — 10–11 октября (online), 15–16 октября (offline)
Подробности и билеты: htt…
Forwarded from A/B testing
Глеб Сологуб из SkyEng про то, как не надо проводить ABT
видео: https://www.youtube.com/watch?v=SE9sUeSU550
видео: https://www.youtube.com/watch?v=SE9sUeSU550
YouTube
Как не надо планировать и проводить А/В тесты — Глеб Сологуб, AIC Analytics Day: Fail Compilation
Выступление на митапе AIC Analytics Day: Fail Compilation, где я рассказал о границах применимости A/B тестов.
Слайды: https://docs.google.com/presentation/d/17XpjeZ81wc8uO-MHRfRYm_mvJosRd1u0bXyfTsvyinY/edit?usp=sharing
Слайды: https://docs.google.com/presentation/d/17XpjeZ81wc8uO-MHRfRYm_mvJosRd1u0bXyfTsvyinY/edit?usp=sharing
Forwarded from A/B testing
Олег Якубенков из Facebook про то, как не надо анализировать A/B тесты
текст: https://gopractice.ru/how-not-to-analyze-abtests/
текст: https://gopractice.ru/how-not-to-analyze-abtests/
GoPractice
ᐈ Как не надо анализировать A/B-тесты. Проблема подглядывания
Зачем измерять статистическую значимость и как проблема подглядывания мешает правильному анализу результатов эксперимента.
Forwarded from A/B testing
Олег Якубенков из Facebook про то, как просто реализовать А/Б тестирование в мобильном приложении
текст: https://gopractice.ru/ab_testing_mobile_apps/
текст: https://gopractice.ru/ab_testing_mobile_apps/
GoPractice
ᐈ A/B тестирование мобильных приложений. Как просто реализовать A/B эксперимент в мобильном приложении?
Как просто и бесплатно провести A/B тестирование в мобильном приложении? Как провести тестирование быстро?
Forwarded from A/B testing
Ребята из Server Density протестировали изменения цен и увеличили доход на 114%
оригинал: https://vwo.com/blog/saas-pricing-ab-test/
перевод: http://tilda.education/articles-yourfirstabtest#rec4328495
оригинал: https://vwo.com/blog/saas-pricing-ab-test/
перевод: http://tilda.education/articles-yourfirstabtest#rec4328495
Website
How Server Density Used VWO To Increase Its Revenue By 114%
Server Density is a hosted server and website monitoring service. They monitor websites from locations around the world combined with internal server metrics so you know when your site is down and have the server metrics to figure out why.
Forwarded from A/B testing
Станислав Видяев из Google Russia про настройку A/Б-тестирования сайтов с помощью Google Optimize
текст: https://www.thinkwithgoogle.com/intl/ru-ru/ad-solutions/mobile/how-to-ab-test/
видео: https://youtu.be/k8rOXypBuGA
текст: https://www.thinkwithgoogle.com/intl/ru-ru/ad-solutions/mobile/how-to-ab-test/
видео: https://youtu.be/k8rOXypBuGA
Think with Google
Think with Google - Discover Marketing Research & Digital Trends
Uncover the latest marketing research and digital trends with data reports, guides, infographics, and articles from Think with Google.
Forwarded from A/B testing
Олег Якубенков из Facebook про то, почему ваши A/B тесты требуют больше времени, чем могли бы
текст: https://gopractice.ru/exposing_users_to_abtest/
текст: https://gopractice.ru/exposing_users_to_abtest/
GoPractice
ᐈ Почему ваши A/B-тесты требуют больше времени, чем могли бы
Каким образом правильный дизайн эксперимента позволяет сократить время его проведения и проще оценить эффект от изменений.