В минувшее воскресенье мы провели митап, на котором поговорили об A/B тестах с разных сторон, о том, почему эксперименты с данными редко бывают чистыми и как аналитикам и исследователям находить истину там, где классические методы не работают.

〰️Максим Николаев рассказал, как использовать байесовские модели (в частности, BART) для анализа ретроспективных данных и корректной оценки причинных эффектов.

〰️ Сергей Матросов поделился опытом индустриальных A/B-тестов: что на самом деле работает в реальных продуктах, какие ошибки совершают команды и как сохранять здравый смысл в экспериментальной аналитике.

〰️ Николай Мальковский рассказал, почему иногда «успешный A/B-тест» может привести к катастрофе, и как учитывать поведение пользователей с точки зрения теории игр.

После докладов участников ждало интерактивное соревнование по аналитике – угадывали метрики по графикам, искали закономерности и обсуждали, какие гипотезы и эффекты могли привести к изменениям.

Вместе с этим прошёл мини-контест по SQL, где нужно было быстро решать прикладные задачи и показывать мастерство работы с данными.

Делимся материалами:
〰️ презентации и задания соревнования доступны на странице мероприятия;
〰️ фотографии с мероприятия.

Спасибо всем участникам за живую атмосферу и глубину вопросов, и отдельная благодарность нашим друзьям из Pinely за поддержку!