АБ-тесты. Интеграция в процесс пилотирования. Риски типового бизнес-процесса без АБ
Цикл постов про АБ-тестирование. Пост 3
Бизнес-процесс, описанный в предшествующем посте цикла, связан со значительными рисками для компании:
- Риск некорректного финального решения о дальнейшем развитии проекта. Наиболее значимый риск среди всех. Как мы написали выше, компания идет по инвестиционному циклу вслепую. И очень важно понимать, что это связано не только с отсутствием АБ-тестирования в шаге оценки результатов пилотов. Даже если у вас стройная и правильная математика при оценке результата пилота, риски остаются и в других шагах:
- Нет фиксации ограниченного круга целевых метрик и KPI пилота. Это может приводить к тому, что при отсутствии эффекта на основные метрики, заинтересованная сторона будет искать эффект в других метриках, пока не найдет и постфактум сможет объявить о том, что пилот успешен, но на других метриках. Научно это называется проблемой множественного тестирования и отлично иллюстрируется известной историей про мертвого лосося.
- Нет единой базы пилотов. При проведении пилотов далеко не всегда контролируется отсутствие изменений в контрольной группе объектов. А если эксперименты проводятся в 1м объекте, выделенном для тестов, нередка ситуация, когда в одно время может проходить и два, и три, и пять пилотов. Результаты проведения каждого из них по отдельности, как нетрудно догадаться, в такой ситуации, оценить будет невозможно.
- Нет единой методики/правил экстраполяции результатов пилота для расчета финансового эффекта на все объекты. Даже при суперкорректной статистической оценке результатов пилота на основе АБ, финальное решение об инвестициях в проект может оказаться некорректным, если нет правил его масштабирования на всю сеть. Получили +1% к выручке на 5 объектах. Можем ли сказать, что при ролл-ауте проекта, для всей сети будет +1% к выручке? Была ли выборка репрезентативна для всей сети? Можем ли назвать результаты пилота робастными? Например, 5 объектов пилота могли быть расположены в Сибири, а основные объекты компании расположены в Центральных регионах.
- Риск задержек в проведении пилотов. Как мы увидели в предшествующем посте, в бизнес-процессе проведения пилота много шагов, в него вовлечено много сторон/согласующих. Это может приводить к значительному замедлению в продвижении компании по инвестиционному циклу, а значит, в перспективе - к отставанию от конкурентов во внедрении новых решений.
В следующем посте цикла мы поговорим о том “А что делать-то?”. Как подумать о рассмотренных рисках при интеграции АБ-тестирования, а также учесть особенности бизнес-процесса.
#business #ab_testing
Цикл постов про АБ-тестирование. Пост 3
Бизнес-процесс, описанный в предшествующем посте цикла, связан со значительными рисками для компании:
- Риск некорректного финального решения о дальнейшем развитии проекта. Наиболее значимый риск среди всех. Как мы написали выше, компания идет по инвестиционному циклу вслепую. И очень важно понимать, что это связано не только с отсутствием АБ-тестирования в шаге оценки результатов пилотов. Даже если у вас стройная и правильная математика при оценке результата пилота, риски остаются и в других шагах:
- Нет фиксации ограниченного круга целевых метрик и KPI пилота. Это может приводить к тому, что при отсутствии эффекта на основные метрики, заинтересованная сторона будет искать эффект в других метриках, пока не найдет и постфактум сможет объявить о том, что пилот успешен, но на других метриках. Научно это называется проблемой множественного тестирования и отлично иллюстрируется известной историей про мертвого лосося.
- Нет единой базы пилотов. При проведении пилотов далеко не всегда контролируется отсутствие изменений в контрольной группе объектов. А если эксперименты проводятся в 1м объекте, выделенном для тестов, нередка ситуация, когда в одно время может проходить и два, и три, и пять пилотов. Результаты проведения каждого из них по отдельности, как нетрудно догадаться, в такой ситуации, оценить будет невозможно.
- Нет единой методики/правил экстраполяции результатов пилота для расчета финансового эффекта на все объекты. Даже при суперкорректной статистической оценке результатов пилота на основе АБ, финальное решение об инвестициях в проект может оказаться некорректным, если нет правил его масштабирования на всю сеть. Получили +1% к выручке на 5 объектах. Можем ли сказать, что при ролл-ауте проекта, для всей сети будет +1% к выручке? Была ли выборка репрезентативна для всей сети? Можем ли назвать результаты пилота робастными? Например, 5 объектов пилота могли быть расположены в Сибири, а основные объекты компании расположены в Центральных регионах.
- Риск задержек в проведении пилотов. Как мы увидели в предшествующем посте, в бизнес-процессе проведения пилота много шагов, в него вовлечено много сторон/согласующих. Это может приводить к значительному замедлению в продвижении компании по инвестиционному циклу, а значит, в перспективе - к отставанию от конкурентов во внедрении новых решений.
В следующем посте цикла мы поговорим о том “А что делать-то?”. Как подумать о рассмотренных рисках при интеграции АБ-тестирования, а также учесть особенности бизнес-процесса.
#business #ab_testing
👍5🥰2❤1
image_2022-09-15_14-13-20.png
208 KB
Подытожим в одной картинке выводы последних двух постов цикла про АБ-тестирование: о бизнес-процессе пилотирования и его рисках.
P.S. Хочется выразить большую благодарность моим замечательным коллегам Анастасии Комович и Эдуарду Григоряну, которые вместе со мной в разное время долгие часы формировали концепцию внедрения АБ-тестирования в бизнес-процессы компаний. Без них понимания бизнес-процессов и того, что со всем этим делать, не состоялось бы.
#business #ab_testing
P.S. Хочется выразить большую благодарность моим замечательным коллегам Анастасии Комович и Эдуарду Григоряну, которые вместе со мной в разное время долгие часы формировали концепцию внедрения АБ-тестирования в бизнес-процессы компаний. Без них понимания бизнес-процессов и того, что со всем этим делать, не состоялось бы.
#business #ab_testing
👍7❤1
ML System Design ODS Course
Уже сегодня - 19 сентября - открывается курс по ML System Design для начинающих. Автор курса - Дмитрий Колодезев, директор Promsoft.
Первая лекция скоро будет доступна на странице курса! Группа для участников в тг тут.
Что входит в курс:
- ML-системы в реальной жизни с точки зрения софта, железа и бизнеса.
- Итеративный процесс построения ML-систем
Что не рассматривается:
- Алгоритмы машинного обучения
- Дата-инженерия
- Дизайн пользовательского интерфейса
- Как работать с докером и k8s
Курс состоит из видео, статей, докладов студентов, работы над проектом.
Уже сегодня - 19 сентября - открывается курс по ML System Design для начинающих. Автор курса - Дмитрий Колодезев, директор Promsoft.
Первая лекция скоро будет доступна на странице курса! Группа для участников в тг тут.
Что входит в курс:
- ML-системы в реальной жизни с точки зрения софта, железа и бизнеса.
- Итеративный процесс построения ML-систем
Что не рассматривается:
- Алгоритмы машинного обучения
- Дата-инженерия
- Дизайн пользовательского интерфейса
- Как работать с докером и k8s
Курс состоит из видео, статей, докладов студентов, работы над проектом.
🔥20👍5⚡2
День Открытых Дверей Mathshub - 4 октября 2022 г.
С наступлением осени снова появляются хорошие DS мероприятия. Хотим рассказать вам об одном из них.
Уже в ближайший вторник, 4 октября, состоится День Открытых Дверей Mathshub. Будет полезно всем интересующимся темой ML System Design.
В программе:
- Рассказ о том, как создать ML-проект с нуля (от выбора идеи до релиза), как найти большой рынок для своей идеи и не умереть в конкуренции с крупными компаниями. Спикер - замечательная Айра Монгуш [ex-Mail.Ru, ex-aitarget.com], основательница Mathshub, которая многим может быть уже хорошо знакома как преподаватель в МФТИ/ВШЭ.
- Краткая презентация осенней программы по созданию ML-проектов. 👩🎓 Среди преподавателей — Давид Дале из AI Research, Игорь Слинько, ex-Samsung AI Research и другие ребята с обширной практикой в диплернинге и обучении.
Регистрация на мероприятие тут.
#tech
С наступлением осени снова появляются хорошие DS мероприятия. Хотим рассказать вам об одном из них.
Уже в ближайший вторник, 4 октября, состоится День Открытых Дверей Mathshub. Будет полезно всем интересующимся темой ML System Design.
В программе:
- Рассказ о том, как создать ML-проект с нуля (от выбора идеи до релиза), как найти большой рынок для своей идеи и не умереть в конкуренции с крупными компаниями. Спикер - замечательная Айра Монгуш [ex-Mail.Ru, ex-aitarget.com], основательница Mathshub, которая многим может быть уже хорошо знакома как преподаватель в МФТИ/ВШЭ.
- Краткая презентация осенней программы по созданию ML-проектов. 👩🎓 Среди преподавателей — Давид Дале из AI Research, Игорь Слинько, ex-Samsung AI Research и другие ребята с обширной практикой в диплернинге и обучении.
Регистрация на мероприятие тут.
#tech
👍8
АБ-тесты. Интеграция в процесс пилотирования. Что делать.
Цикл постов про АБ-тестирование. Пост 4.
Теперь, когда мы разобрали бизнес-процессы и ключевые риски инвестиционного цикла и отдельно пилотирования, можно поговорить о том, как предусмотреть митигацию этих рисков при интеграции АБ-тестов в деятельность компании.
Первое, что мы рассмотрим, это создание процесса взаимодействия бизнеса с командой АБ-тестирования. Наличие у вас классной методики АБ - это круто, но этого недостаточно для того, чтобы нивелировать риски некорректных оценок финального эффекта и задержек в проведении пилота.
Создание такого бизнес-процесса (далее - БП):
- значительно уменьшает время на планирование и получение оценки пилота. Если БП создан командой АБ совместно с финансовой службой, то этот эффект еще заметнее. Финансовая служба - владелец процесса инвестиционного цикла проектов и являются ключевым согласующим по его этапам.
- позволяет получить максимально полную информацию для корректного планирования пилота и его последующей оценки, а значит, снижает риск неправильных выводов о финансовом эффекте.
Необходимые атрибуты процесса взаимодействия бизнеса с командой АБ-тестирования: единое окно для подачи всех заявок на АБ, механизм приоритезации, чек-листы для подачи заявки на дизайн пилота и на оценку эффекта после пилота, SLA ответа на корректно поданную заявку.
Ключевой атрибут - это чек-листы. Рассмотрим их подробнее.
A. Чек-лист для подачи заявки на дизайн пилота в команду АБ, включающий как технику, так и бизнес-постановку.
Бизнес-часть:
- сведения о заказчике пилота (бизнес-подразделение, контакты);
- содержание пилота (что внедряем, почему это принесет эффект);
- категория приоритетности расчета. Пока у вас нет библиотеки или платформы АБ-тестирования и дизайны экспериментов требуют вовлечения DS-ов, необходимо выстроить процесс приоритезации заявок: какие проекты оцениваются в 1/2/3 очередь, какие - не оцениваются вообще. Основа критериев: бюджет проведения пилота (считается ли проект крупным с точки зрения инвестиционного цикла компании) и материальность ожидаемого эффекта для PnL компании (ждем ли реально большой пользы от проекта).
Техническая часть. Стоит обозначить все пункты, необходимые для математического дизайна пилота по вашей методе:
- что является объектом тестирования;
- целевые метрики пилота и ожидаемый количественный эффект пилота на них;
- есть ли период привыкания с точки зрения бизнес-постановки. Например, распространено мнение, что изменение ассортимента в магазине может не сразу повлиять на спрос, покупателю требуется время привыкнуть к изменениям
возможные границы периода пилота, ожидаемая дата начала;
- максимальное количество объектов, которое бизнес готов выделить в пилот;
- ограничения на эти объекты по бизнес-постановке. Например, в пилот требуется включать только магазины определенных регионов присутствия и с финансовыми показателями выше заданных порогов.
Б. Чек-лист для подачи заявки в команду АБ на оценку пилота. Здесь возможны 2 варианта:
- Дизайн пилота делала команда АБ по единой методике. Чек-лист не требуется, вся информация есть у команды. Нужно только уведомление о завершении пилота и просьба рассчитать эффект.
- Пилот проводился без участия команды АБ. Для заявки на оценку пилота нужен максимально детальный чек-лист дизайна. Так команда АБ сможет понять, может ли сделать математически корректную оценку эффекта.
#business #ab_testing
Цикл постов про АБ-тестирование. Пост 4.
Теперь, когда мы разобрали бизнес-процессы и ключевые риски инвестиционного цикла и отдельно пилотирования, можно поговорить о том, как предусмотреть митигацию этих рисков при интеграции АБ-тестов в деятельность компании.
Первое, что мы рассмотрим, это создание процесса взаимодействия бизнеса с командой АБ-тестирования. Наличие у вас классной методики АБ - это круто, но этого недостаточно для того, чтобы нивелировать риски некорректных оценок финального эффекта и задержек в проведении пилота.
Создание такого бизнес-процесса (далее - БП):
- значительно уменьшает время на планирование и получение оценки пилота. Если БП создан командой АБ совместно с финансовой службой, то этот эффект еще заметнее. Финансовая служба - владелец процесса инвестиционного цикла проектов и являются ключевым согласующим по его этапам.
- позволяет получить максимально полную информацию для корректного планирования пилота и его последующей оценки, а значит, снижает риск неправильных выводов о финансовом эффекте.
Необходимые атрибуты процесса взаимодействия бизнеса с командой АБ-тестирования: единое окно для подачи всех заявок на АБ, механизм приоритезации, чек-листы для подачи заявки на дизайн пилота и на оценку эффекта после пилота, SLA ответа на корректно поданную заявку.
Ключевой атрибут - это чек-листы. Рассмотрим их подробнее.
A. Чек-лист для подачи заявки на дизайн пилота в команду АБ, включающий как технику, так и бизнес-постановку.
Бизнес-часть:
- сведения о заказчике пилота (бизнес-подразделение, контакты);
- содержание пилота (что внедряем, почему это принесет эффект);
- категория приоритетности расчета. Пока у вас нет библиотеки или платформы АБ-тестирования и дизайны экспериментов требуют вовлечения DS-ов, необходимо выстроить процесс приоритезации заявок: какие проекты оцениваются в 1/2/3 очередь, какие - не оцениваются вообще. Основа критериев: бюджет проведения пилота (считается ли проект крупным с точки зрения инвестиционного цикла компании) и материальность ожидаемого эффекта для PnL компании (ждем ли реально большой пользы от проекта).
Техническая часть. Стоит обозначить все пункты, необходимые для математического дизайна пилота по вашей методе:
- что является объектом тестирования;
- целевые метрики пилота и ожидаемый количественный эффект пилота на них;
- есть ли период привыкания с точки зрения бизнес-постановки. Например, распространено мнение, что изменение ассортимента в магазине может не сразу повлиять на спрос, покупателю требуется время привыкнуть к изменениям
возможные границы периода пилота, ожидаемая дата начала;
- максимальное количество объектов, которое бизнес готов выделить в пилот;
- ограничения на эти объекты по бизнес-постановке. Например, в пилот требуется включать только магазины определенных регионов присутствия и с финансовыми показателями выше заданных порогов.
Б. Чек-лист для подачи заявки в команду АБ на оценку пилота. Здесь возможны 2 варианта:
- Дизайн пилота делала команда АБ по единой методике. Чек-лист не требуется, вся информация есть у команды. Нужно только уведомление о завершении пилота и просьба рассчитать эффект.
- Пилот проводился без участия команды АБ. Для заявки на оценку пилота нужен максимально детальный чек-лист дизайна. Так команда АБ сможет понять, может ли сделать математически корректную оценку эффекта.
#business #ab_testing
👍3❤1👏1
АБ-тесты. Интеграция в процесс пилотирования. Что делать.
Пост 4. Взаимодействие АБ-команды, финансовой службы и бизнеса.
Краткое резюме - о чем был предыдущий пост.
Весь цикл постов про процессы в АБ-тестировании (на текущий момент):
- Пост 1. АБ-тесты - это не только ценный мех… Но еще и процессы. Об инвестиционном цикле и месте АБ в нем.
- Пост 2. АБ-тесты. Интеграция в процесс пилотирования. Как выглядит типовой бизнес-процесс без АБ.
- Пост 3. АБ-тесты. Интеграция в процесс пилотирования. Риски типового бизнес-процесса без АБ.
- Пост 4. АБ-тесты. Интеграция в процесс пилотирования. Что делать. Взаимодействие АБ-команды, финансовой службы и бизнеса.
- Продолжение - на канале Reliable ML!
#business #ab_testing
Пост 4. Взаимодействие АБ-команды, финансовой службы и бизнеса.
Краткое резюме - о чем был предыдущий пост.
Весь цикл постов про процессы в АБ-тестировании (на текущий момент):
- Пост 1. АБ-тесты - это не только ценный мех… Но еще и процессы. Об инвестиционном цикле и месте АБ в нем.
- Пост 2. АБ-тесты. Интеграция в процесс пилотирования. Как выглядит типовой бизнес-процесс без АБ.
- Пост 3. АБ-тесты. Интеграция в процесс пилотирования. Риски типового бизнес-процесса без АБ.
- Пост 4. АБ-тесты. Интеграция в процесс пилотирования. Что делать. Взаимодействие АБ-команды, финансовой службы и бизнеса.
- Продолжение - на канале Reliable ML!
#business #ab_testing
🔥8👍2❤1
Reliable ML как framework для работы с продвинутой аналитикой
В апреле мы рассказывали вам, какое содержание мы вкладываем в термин Reliable ML. Так называется наш канал, если вдруг кто еще не обратил внимания 😄
В сентябре я выступила на форуме Управление данными 2022 с более структурированным рассказом о том, что же такое Reliable ML как framework. Время выступления всего 20 минут, поэтому раскрыть детально удалось только темы про выбор проектов для реализации, бизнес-аспекты ML System Design и внедрение моделей.
Организаторы конференции разрешили выложить выступление.
https://www.youtube.com/watch?v=pTQYR0f5NQs
Welcome, кому интересно!
#reliable_ml
В апреле мы рассказывали вам, какое содержание мы вкладываем в термин Reliable ML. Так называется наш канал, если вдруг кто еще не обратил внимания 😄
В сентябре я выступила на форуме Управление данными 2022 с более структурированным рассказом о том, что же такое Reliable ML как framework. Время выступления всего 20 минут, поэтому раскрыть детально удалось только темы про выбор проектов для реализации, бизнес-аспекты ML System Design и внедрение моделей.
Организаторы конференции разрешили выложить выступление.
https://www.youtube.com/watch?v=pTQYR0f5NQs
Welcome, кому интересно!
#reliable_ml
👍8🔥5❤1
ML System Design Course 2022 - лекции
Список и краткое содержание опубликованных лекций
1. Практическое применение машинного обучения.
Делать ML-модели легко, трудно делать полезные ML-модели. В первой лекции дается определение “дизайна систем машинного обучения”, разбираются предположения ML-систем, их традиционные области применения и отличия академического и промышленного машинного обучения.
2. Основы проектирования ML-систем.
Дизайн - это работа с ограничениями, и во второй лекции мы разбираем источники этих ограничений, постановку задачи, метрики и бейзлайны.
3. Обучающие данные.
Машинное обучение основано на данных, и в этой лекции мы обсудим проблемы разметки и подготовки данных, проблему дисбаланса классов и сэмплирование.
4. Подготовка и отбор признаков.
Задача подготовки данных - упростить обучение модели. Обсуждаем аугментацию для разных типов данных, использование синтетических данных, работу с выбросами и пропущенными значениями, масштабирование, конструирование и отбор признаков. Отдельно мы разговариваем о даталиках - данных, доступных при обучении, но недоступных при использовании модели.
На странице курса также доступны презентации и списки рекомендованных к прочтению материалов для каждой лекции.
Всего планируется 15 лекций, а, возможно, и чуть больше - в качестве новогоднего подарка от @Reliable ML :)
Не переключайтесь!
#tech #ml_system_design
Список и краткое содержание опубликованных лекций
1. Практическое применение машинного обучения.
Делать ML-модели легко, трудно делать полезные ML-модели. В первой лекции дается определение “дизайна систем машинного обучения”, разбираются предположения ML-систем, их традиционные области применения и отличия академического и промышленного машинного обучения.
2. Основы проектирования ML-систем.
Дизайн - это работа с ограничениями, и во второй лекции мы разбираем источники этих ограничений, постановку задачи, метрики и бейзлайны.
3. Обучающие данные.
Машинное обучение основано на данных, и в этой лекции мы обсудим проблемы разметки и подготовки данных, проблему дисбаланса классов и сэмплирование.
4. Подготовка и отбор признаков.
Задача подготовки данных - упростить обучение модели. Обсуждаем аугментацию для разных типов данных, использование синтетических данных, работу с выбросами и пропущенными значениями, масштабирование, конструирование и отбор признаков. Отдельно мы разговариваем о даталиках - данных, доступных при обучении, но недоступных при использовании модели.
На странице курса также доступны презентации и списки рекомендованных к прочтению материалов для каждой лекции.
Всего планируется 15 лекций, а, возможно, и чуть больше - в качестве новогоднего подарка от @Reliable ML :)
Не переключайтесь!
#tech #ml_system_design
👍23❤7🔥1
АБ-тесты. Интеграция в процесс пилотирования. Что делать. База пилотов
Цикл постов про АБ-тестирование. Пост 5
Как мы разобрались раньше, при внедрении АБ-тестирования в процесс пилотирования полезно создать базу пилотов. Хорошая база позволяет не только снизить риск некорректного финального решения о дальнейшем развитии проекта (можем отслеживать пересечения пилотов: чтобы в пилотной группе тестировался только один проект, а в контрольной - ни одного), но и сильно систематизировать знания компании о пилотах. А последнее потом очень помогает подбить эффект от работы команды АБ-тестирования за год 😉, а также найти проблемы в работе с пилотами (как технические, так и бизнесовые).
Каковы компоненты идеальной базы пилотов?
На самом деле, мы наполовину уже ответили на этот вопрос в предыдущем посте цикла, описав поля для чек-листа заявки на дизайн пилота. Все эти сведения будут полезны для базы пилотов. Полезно также присвоить им метку design (сведения, известные на момент дизайна пилота).
К этим данным стоит добавить:
- Параметры пилота, полученные после осуществления дизайна: расчетные даты границ пилота и препилота, полученные ошибки 1-го и 2-го рода, минимально детектируемый эффект, на который рассчитан дизайн, ID объектов пилотной и контрольной группы.
- Результаты оценки эффекта пилота, рассчитанные после его окончания: итоговый эффект пилота (или его отсутствие😐), итоговые параметры пилота (даты пилота/препилота, ошибки, ID объектов). Для этих данных полезно проставить метку estimation (этап оценки эффекта пилота).
Так мы видим идеальную базу. Будем рады комментариям и дополнениям!
Предыдущие посты цикла тут.
Продолжение следует!
#tech #ab_testing
Цикл постов про АБ-тестирование. Пост 5
Как мы разобрались раньше, при внедрении АБ-тестирования в процесс пилотирования полезно создать базу пилотов. Хорошая база позволяет не только снизить риск некорректного финального решения о дальнейшем развитии проекта (можем отслеживать пересечения пилотов: чтобы в пилотной группе тестировался только один проект, а в контрольной - ни одного), но и сильно систематизировать знания компании о пилотах. А последнее потом очень помогает подбить эффект от работы команды АБ-тестирования за год 😉, а также найти проблемы в работе с пилотами (как технические, так и бизнесовые).
Каковы компоненты идеальной базы пилотов?
На самом деле, мы наполовину уже ответили на этот вопрос в предыдущем посте цикла, описав поля для чек-листа заявки на дизайн пилота. Все эти сведения будут полезны для базы пилотов. Полезно также присвоить им метку design (сведения, известные на момент дизайна пилота).
К этим данным стоит добавить:
- Параметры пилота, полученные после осуществления дизайна: расчетные даты границ пилота и препилота, полученные ошибки 1-го и 2-го рода, минимально детектируемый эффект, на который рассчитан дизайн, ID объектов пилотной и контрольной группы.
- Результаты оценки эффекта пилота, рассчитанные после его окончания: итоговый эффект пилота (или его отсутствие😐), итоговые параметры пилота (даты пилота/препилота, ошибки, ID объектов). Для этих данных полезно проставить метку estimation (этап оценки эффекта пилота).
Так мы видим идеальную базу. Будем рады комментариям и дополнениям!
Предыдущие посты цикла тут.
Продолжение следует!
#tech #ab_testing
👍4
Иллюстрация к посту про базу пилотов - какие риски процесса закрываем
Все посты цикла:
Пост 1. АБ-тесты - это не только ценный мех… Но еще и процессы. Об инвестиционном цикле и месте АБ в нем.
Пост 2. АБ-тесты. Интеграция в процесс пилотирования. Как выглядит типовой бизнес-процесс без АБ.
Пост 3. АБ-тесты. Интеграция в процесс пилотирования. Риски типового бизнес-процесса без АБ.
Пост 4. АБ-тесты. Интеграция в процесс пилотирования. Что делать. Взаимодействие АБ-команды, финансовой службы и бизнеса.
Пост 5. АБ-тесты. Интеграция в процесс пилотирования. Что делать. База пилотов.
#tech #ab_testing
Все посты цикла:
Пост 1. АБ-тесты - это не только ценный мех… Но еще и процессы. Об инвестиционном цикле и месте АБ в нем.
Пост 2. АБ-тесты. Интеграция в процесс пилотирования. Как выглядит типовой бизнес-процесс без АБ.
Пост 3. АБ-тесты. Интеграция в процесс пилотирования. Риски типового бизнес-процесса без АБ.
Пост 4. АБ-тесты. Интеграция в процесс пилотирования. Что делать. Взаимодействие АБ-команды, финансовой службы и бизнеса.
Пост 5. АБ-тесты. Интеграция в процесс пилотирования. Что делать. База пилотов.
#tech #ab_testing
🔥6👍1👏1
DataStart - 29 ноября 2022 г.
Друзья, довольно скоро состоится онлайн-конференция по Data Science - DataStart.
Регистрация тут.
Этот проект существует уже довольно давно и из года в год радует хорошим контентом.
Например, Виктор Кантор много лет поддерживает проект и всегда рассказывает там что-то хорошее и интересное. И этот год не исключение.
Вообще, в этом году организаторам удалось собрать особо огненную команду спикеров - на конференции выступят также Иван Оселедец, Евгений Бурнаев и Татьяна Шаврина, прочитавшая в треке ODS Reliable ML в 2021 г. один из самых мощных докладов про интерпретацию трансформенных моделей.
Полную программу можно посмотреть тут.
Сама конференция и просмотр всех докладов - бесплатные.
Возможность потом получить все материалы - платная.
Есть промокод: Reliable500.
Всем хороших выходных!
#tech
Друзья, довольно скоро состоится онлайн-конференция по Data Science - DataStart.
Регистрация тут.
Этот проект существует уже довольно давно и из года в год радует хорошим контентом.
Например, Виктор Кантор много лет поддерживает проект и всегда рассказывает там что-то хорошее и интересное. И этот год не исключение.
Вообще, в этом году организаторам удалось собрать особо огненную команду спикеров - на конференции выступят также Иван Оселедец, Евгений Бурнаев и Татьяна Шаврина, прочитавшая в треке ODS Reliable ML в 2021 г. один из самых мощных докладов про интерпретацию трансформенных моделей.
Полную программу можно посмотреть тут.
Сама конференция и просмотр всех докладов - бесплатные.
Возможность потом получить все материалы - платная.
Есть промокод: Reliable500.
Всем хороших выходных!
#tech
🔥13
АБ-тесты. Интеграция в процесс пилотирования. Что делать. Математическая методика дизайна и оценки результатов пилотов.
Цикл постов про АБ-тестирование. Пост 6
Ну вот, кажется, самая занудная часть постов про процессы закончена и можно перейти к методике. Последняя, как вы видите, занимает уже не так много места в общем процессе успешного запуска АБ в крупной компании 🙂 Но, тем не менее, остается основой для его появления.
Почти в любой методике АБ-тестирования для офлайна можно выделить следующие этапы:
- Этап 1. Дизайн пилота. Подбор пилотной и контрольной групп объектов (число и id), оптимальной длительности пилота, минимально-детектируемого эффекта с учетом вводных от бизнеса (чек-лист тут). Часть этих параметров обязательно будет ограничена - но только за счет свободы по остальным: либо эффект хочется поймать минимальный, но готовы взять в пилот много объектов, либо готовы взять в пилот мало объектов и провести его надо быстро, но эффект от проекта ждем бомбический.
Что важно учитывать в этом этапе:
- (а) репрезентативность пилотной и контрольной групп объектов для целей ролл-аута результатов пилота. Если в пилоте используем объекты только из одного города, а выводы хотим делать на всю страну - это не очень правильно.
- (б) ошибки 1-го и 2-го рода на препилотном периоде, равном планируемому периоду пилота. Ошибка 1-го рода - вероятность поймать эффект, когда его нет. Ошибка 2-го рода - вероятность не поймать эффект, когда он есть. И то, и другое не есть хорошо. Период препилота - возможность протестировать корректность алгоритма оценки эффекта заранее - в ситуации, когда мы знаем, что различий между группами нет. Важно определить границы допустимых ошибок 1-2го рода в вашей компании. Для офлайн экспериментов на нашей практике бенчмарком являются границы в ~15%.
- Этап 2. Расчет эффекта от проведенного пилота. На базе сравнения распределения значений целевой метрики (на которую воздействовали) в пилотной и контрольной группах. Важно, чтобы оценка эффекта здесь и на этапе дизайна (когда считаем ошибки) совпадала. Тогда расчеты будут согласованы.
Выстроить корректную оценку для офлайн-экспериментов сложнее, чем для онлайна, по ряду причин. Основные из них: мало объектов можем позволить себе в пилот (причем это “мало” может варьироваться от 100-150 объектов для одного пилота (если это, например, банкоматы), до 2-10 объектов (если это, например, сеть продуктового ритейла с небольшим числом магазинов🤓), объекты очень сильно отличаются друг от друга, на них сильно воздействуют внешние факторы (это влияет и на рост волатильности целевых метрик).
Каждая из этих причин может кардинально изменить методику пилота, которая будет оптимальна именно для вашей компании. Но главное, что статистический инструментарий дорос до такого уровня, что практически в любом случае - оценка возможна. Следующим постом дадим подборку качественной литературы по АБ-тестам.
- Этап 3. Интерпретация эффекта. На предыдущем этапе мы получили какие-то цифры. В худшем случае - одну цифру (точечную оценку). Теперь нужно сделать вывод об успехе или неуспехе пилота. На основе точечной оценки делать такой вывод, разумеется, нельзя. Важно рассчитать доверительный интервал и сделать вывод о робастности полученного вами результата (статистической значимости полученного эффекта). Будет ли оценка эффекта в таком же пилоте, проведенном сразу после только что завершенного, близкой к полученной сейчас? Будет ли она такой для всех объектов в целом, если мы сделаем ролл-аут проекта, который пилотировали?
Решение о значимости результатов пилота и возможности его экстраполяции должно осуществляться на основе доверительного интервала эффекта пилота.
Причем не стоит недооценивать важность погружения в статметоды для корректной оценки доверительного интервала. Известны случаи, когда внешний консультант утверждал о положительном эффекте от своего проекта, манипулируя именно расчетом доверительного интервала.
Будьте бдительны и хороших вам АБ-тестов!
#tech #ab_testing
Цикл постов про АБ-тестирование. Пост 6
Ну вот, кажется, самая занудная часть постов про процессы закончена и можно перейти к методике. Последняя, как вы видите, занимает уже не так много места в общем процессе успешного запуска АБ в крупной компании 🙂 Но, тем не менее, остается основой для его появления.
Почти в любой методике АБ-тестирования для офлайна можно выделить следующие этапы:
- Этап 1. Дизайн пилота. Подбор пилотной и контрольной групп объектов (число и id), оптимальной длительности пилота, минимально-детектируемого эффекта с учетом вводных от бизнеса (чек-лист тут). Часть этих параметров обязательно будет ограничена - но только за счет свободы по остальным: либо эффект хочется поймать минимальный, но готовы взять в пилот много объектов, либо готовы взять в пилот мало объектов и провести его надо быстро, но эффект от проекта ждем бомбический.
Что важно учитывать в этом этапе:
- (а) репрезентативность пилотной и контрольной групп объектов для целей ролл-аута результатов пилота. Если в пилоте используем объекты только из одного города, а выводы хотим делать на всю страну - это не очень правильно.
- (б) ошибки 1-го и 2-го рода на препилотном периоде, равном планируемому периоду пилота. Ошибка 1-го рода - вероятность поймать эффект, когда его нет. Ошибка 2-го рода - вероятность не поймать эффект, когда он есть. И то, и другое не есть хорошо. Период препилота - возможность протестировать корректность алгоритма оценки эффекта заранее - в ситуации, когда мы знаем, что различий между группами нет. Важно определить границы допустимых ошибок 1-2го рода в вашей компании. Для офлайн экспериментов на нашей практике бенчмарком являются границы в ~15%.
- Этап 2. Расчет эффекта от проведенного пилота. На базе сравнения распределения значений целевой метрики (на которую воздействовали) в пилотной и контрольной группах. Важно, чтобы оценка эффекта здесь и на этапе дизайна (когда считаем ошибки) совпадала. Тогда расчеты будут согласованы.
Выстроить корректную оценку для офлайн-экспериментов сложнее, чем для онлайна, по ряду причин. Основные из них: мало объектов можем позволить себе в пилот (причем это “мало” может варьироваться от 100-150 объектов для одного пилота (если это, например, банкоматы), до 2-10 объектов (если это, например, сеть продуктового ритейла с небольшим числом магазинов🤓), объекты очень сильно отличаются друг от друга, на них сильно воздействуют внешние факторы (это влияет и на рост волатильности целевых метрик).
Каждая из этих причин может кардинально изменить методику пилота, которая будет оптимальна именно для вашей компании. Но главное, что статистический инструментарий дорос до такого уровня, что практически в любом случае - оценка возможна. Следующим постом дадим подборку качественной литературы по АБ-тестам.
- Этап 3. Интерпретация эффекта. На предыдущем этапе мы получили какие-то цифры. В худшем случае - одну цифру (точечную оценку). Теперь нужно сделать вывод об успехе или неуспехе пилота. На основе точечной оценки делать такой вывод, разумеется, нельзя. Важно рассчитать доверительный интервал и сделать вывод о робастности полученного вами результата (статистической значимости полученного эффекта). Будет ли оценка эффекта в таком же пилоте, проведенном сразу после только что завершенного, близкой к полученной сейчас? Будет ли она такой для всех объектов в целом, если мы сделаем ролл-аут проекта, который пилотировали?
Решение о значимости результатов пилота и возможности его экстраполяции должно осуществляться на основе доверительного интервала эффекта пилота.
Причем не стоит недооценивать важность погружения в статметоды для корректной оценки доверительного интервала. Известны случаи, когда внешний консультант утверждал о положительном эффекте от своего проекта, манипулируя именно расчетом доверительного интервала.
Будьте бдительны и хороших вам АБ-тестов!
#tech #ab_testing
👍20🐳1
Подборка материалов по АБ
Цикл постов про АБ-тестирование. Пост 7
Как создать корректную методику АБ-тестирования для вашей компании в один пост, конечно, не уместить. В посте выше мы обозначили ключевые, на наш взгляд, составляющие любой методики.
А детали, нюансы и примеры использования мы обсудим 17 декабря на митапе Reliable ML по АБ-тестированию 🥳. Если вам интересна тема, то можно уже забивать место в календаре на целый день. Анонсы с программой и деталями регистрации будут чуть позже.
А в этом мы дадим обещанную подборку материалов по АБ-тестированию (большая часть - на русском языке):
- Книга Доверительное АБ-тестирование простым и понятным языком рассказывает об основах АБ для онлайна и примерах применения его в крупных компаниях. На русском языке это одна из лучших книг по онлайн-экспериментам.
- Книга Статистический анализ и визуализация данных с помощью R от Сергея Мастицкого. Это уже прям классика-классика, но статистический фундамент, релевантный АБ, дает отличный. Я, например, пришла в DS именно по блогу и книгам Сергея.
- Статьи Паши Нестерова на Хабре по офлайн-экспериментам (1, 2). Написаны давно, но настолько хорошо и понятно, что я до сих пор для объяснения каких-то частей методологии даю ссылки на них. Например, ссылку на байку про мертвого лосося для раскрытия темы вреда множественного тестирования давала, наверное, уже миллион раз. Лучше эту тему на русском не раскрыл никто.
- Practical Defaults for A/B Testing от Ronny Kohavi. Советы по выбору дефолтных значений от автора книги Доверительное АБ-тестирование.
- Caveats and Limitations of A/B Testing at Growth Tech Companies. Хорошая заметка в тему нашего цикла постов про сложности проведения АБ в компаниях и отличный ее пересказ от Артема Ерохина (у которого, кстати, отличный ТГ-канал с множеством материалов по АБ).
- Продвинутые темы в АБ можно посмотреть: в треке Валеры Бабушкина на ODS Data Fest 2020 г. (от нюансов АБ на малых данных до оптимизации метрик для контроля качества проведения экспериментов), докладах Ваагна Минасяна и Ивана Максимова про ускорение АБ-тестов, статьях Саши Сахнова о стратификации и бутстрепе (об основах АБ в оффлайне Саша, кстати, тоже классно пишет), а также о лайфхаках АБ от Авито (1, 2). Это из любимого. Из этих статей можно выйти на бесчисленное множество качественных материалов по интересующим вас нюансам в методике АБ-тестирования.
#tech #ab_testing
Цикл постов про АБ-тестирование. Пост 7
Как создать корректную методику АБ-тестирования для вашей компании в один пост, конечно, не уместить. В посте выше мы обозначили ключевые, на наш взгляд, составляющие любой методики.
А детали, нюансы и примеры использования мы обсудим 17 декабря на митапе Reliable ML по АБ-тестированию 🥳. Если вам интересна тема, то можно уже забивать место в календаре на целый день. Анонсы с программой и деталями регистрации будут чуть позже.
А в этом мы дадим обещанную подборку материалов по АБ-тестированию (большая часть - на русском языке):
- Книга Доверительное АБ-тестирование простым и понятным языком рассказывает об основах АБ для онлайна и примерах применения его в крупных компаниях. На русском языке это одна из лучших книг по онлайн-экспериментам.
- Книга Статистический анализ и визуализация данных с помощью R от Сергея Мастицкого. Это уже прям классика-классика, но статистический фундамент, релевантный АБ, дает отличный. Я, например, пришла в DS именно по блогу и книгам Сергея.
- Статьи Паши Нестерова на Хабре по офлайн-экспериментам (1, 2). Написаны давно, но настолько хорошо и понятно, что я до сих пор для объяснения каких-то частей методологии даю ссылки на них. Например, ссылку на байку про мертвого лосося для раскрытия темы вреда множественного тестирования давала, наверное, уже миллион раз. Лучше эту тему на русском не раскрыл никто.
- Practical Defaults for A/B Testing от Ronny Kohavi. Советы по выбору дефолтных значений от автора книги Доверительное АБ-тестирование.
- Caveats and Limitations of A/B Testing at Growth Tech Companies. Хорошая заметка в тему нашего цикла постов про сложности проведения АБ в компаниях и отличный ее пересказ от Артема Ерохина (у которого, кстати, отличный ТГ-канал с множеством материалов по АБ).
- Продвинутые темы в АБ можно посмотреть: в треке Валеры Бабушкина на ODS Data Fest 2020 г. (от нюансов АБ на малых данных до оптимизации метрик для контроля качества проведения экспериментов), докладах Ваагна Минасяна и Ивана Максимова про ускорение АБ-тестов, статьях Саши Сахнова о стратификации и бутстрепе (об основах АБ в оффлайне Саша, кстати, тоже классно пишет), а также о лайфхаках АБ от Авито (1, 2). Это из любимого. Из этих статей можно выйти на бесчисленное множество качественных материалов по интересующим вас нюансам в методике АБ-тестирования.
#tech #ab_testing
🔥16👍3👏2❤1
АБ-тесты. Интеграция в процесс пилотирования.
Цикл постов про процессы в АБ-тестировании (почти весь!)
Краткая иллюстрация к двум предыдущим постам - какие риски закрывает добавление математической методики дизайна и оценки результатов пилотов.
Все посты цикла (на текущий момент):
Пост 1. АБ-тесты - это не только ценный мех… Но еще и процессы. Об инвестиционном цикле и месте АБ в нем.
Пост 2. Как выглядит типовой бизнес-процесс без АБ.
Пост 3. Риски типового бизнес-процесса без АБ.
Пост 4. Что делать. Взаимодействие АБ-команды, финансовой службы и бизнеса.
Пост 5. Что делать. База пилотов.
Пост 6. Что делать. Математическая методика дизайна и оценки результатов пилотов.
Пост 7. Подборка материалов по АБ.
Ух, кажется, остался всего один, завершающий, пост про методику экстраполяции результатов пилота.
#tech #ab_testing
Цикл постов про процессы в АБ-тестировании (почти весь!)
Краткая иллюстрация к двум предыдущим постам - какие риски закрывает добавление математической методики дизайна и оценки результатов пилотов.
Все посты цикла (на текущий момент):
Пост 1. АБ-тесты - это не только ценный мех… Но еще и процессы. Об инвестиционном цикле и месте АБ в нем.
Пост 2. Как выглядит типовой бизнес-процесс без АБ.
Пост 3. Риски типового бизнес-процесса без АБ.
Пост 4. Что делать. Взаимодействие АБ-команды, финансовой службы и бизнеса.
Пост 5. Что делать. База пилотов.
Пост 6. Что делать. Математическая методика дизайна и оценки результатов пилотов.
Пост 7. Подборка материалов по АБ.
Ух, кажется, остался всего один, завершающий, пост про методику экстраполяции результатов пилота.
#tech #ab_testing
👍14❤1
Митап по ML & Model Ops - 15 декабря
У наших друзей - сообщества NoML (Not Only ML) - 15 декабря состоится митап по темам мониторинга и валидации моделей, модельного риска и ML Observability. Регистрация тут.
Лидер сообщества, Павел Снурницын (Kolmogorov AI), недавно опубликовал отличный обзор по отчету Gartner "Market Guide for DSML Engineering Platforms". Его полезно почитать для подготовки к мероприятию.
15 декабря c 17:30 МСК в офисе GlowByte (Москва, БЦ Арма) в программе:
1️⃣ “Мониторинг, или Почему мы спокойно спим по ночам”,
Марина Смирнова (Альфа-Банк), Александр Косов (GlowByte).
2️⃣ “Модели следят за моделями: опыт построения системы фактического и предиктивного ML мониторинга”,
Евгений Степанов (Банк Открытие).
3️⃣ “Мониторинг и валидация моделей в Kolmogorov AI”,
Михаил Зайцев (Kolmogorov AI).
4️⃣ Круглый стол на тему “DS/ML Observability”,
все спикеры и все желающие.
P.S. А еще Полина Окунева, один из авторов канала NoML и докладчик трека Reliable ML на Data Fest 2022, недавно опубликовала интересную статью по базовому пайплайну АБ-эксперимента: от этапа проектирования до анализа результатов. На каждом из шагов пайплайна Полина подсвечивает основные моменты, о которых стоит задуматься, для того чтобы создалось видение эксперимента целиком.
#анонс
У наших друзей - сообщества NoML (Not Only ML) - 15 декабря состоится митап по темам мониторинга и валидации моделей, модельного риска и ML Observability. Регистрация тут.
Лидер сообщества, Павел Снурницын (Kolmogorov AI), недавно опубликовал отличный обзор по отчету Gartner "Market Guide for DSML Engineering Platforms". Его полезно почитать для подготовки к мероприятию.
15 декабря c 17:30 МСК в офисе GlowByte (Москва, БЦ Арма) в программе:
1️⃣ “Мониторинг, или Почему мы спокойно спим по ночам”,
Марина Смирнова (Альфа-Банк), Александр Косов (GlowByte).
2️⃣ “Модели следят за моделями: опыт построения системы фактического и предиктивного ML мониторинга”,
Евгений Степанов (Банк Открытие).
3️⃣ “Мониторинг и валидация моделей в Kolmogorov AI”,
Михаил Зайцев (Kolmogorov AI).
4️⃣ Круглый стол на тему “DS/ML Observability”,
все спикеры и все желающие.
P.S. А еще Полина Окунева, один из авторов канала NoML и докладчик трека Reliable ML на Data Fest 2022, недавно опубликовала интересную статью по базовому пайплайну АБ-эксперимента: от этапа проектирования до анализа результатов. На каждом из шагов пайплайна Полина подсвечивает основные моменты, о которых стоит задуматься, для того чтобы создалось видение эксперимента целиком.
#анонс
❤🔥3👍2🔥2
ML System Design Course 2022 - лекции
Список и краткое содержание опубликованных лекций открытого курса ODS 2022
🥳Хопа! Пока мы с вами обсуждали АБ-тесты, в ML System Design Course 2022 подъехали новые крутые лекции.
Вот список всех лекций курса на текущий момент:
1. Практическое применение машинного обучения. Делать ML-модели легко, трудно делать полезные ML-модели. В первой лекции дается определение “дизайна систем машинного обучения”, разбираются предположения ML-систем, их традиционные области применения и отличия академического и промышленного машинного обучения.
2. Основы проектирования ML-систем. Дизайн - это работа с ограничениями, и во второй лекции мы разбираем источники этих ограничений, постановку задачи, метрики и бейзлайны.
3. Обучающие данные. Машинное обучение основано на данных, и в этой лекции мы обсудим проблемы разметки и подготовки данных, проблему дисбаланса классов и сэмплирование.
4. Подготовка и отбор признаков. Задача подготовки данных - упростить обучение модели. Обсуждаем аугментацию для разных типов данных, использование синтетических данных, работу с выбросами и пропущенными значениями, масштабирование, конструирование и отбор признаков. Отдельно мы разговариваем о даталиках - данных, доступных при обучении, но недоступных при использовании модели.
5. Выбор модели, разработка и обучение модели. Сердце ML-системы - модель (или несколько моделей) машинного обучения. Нужно начинать с простого, проверять предположения модели и аккуратно сравнивать разные подходы. Обсуждаем ансамбли, распределенное обучение, гадаем по графикам лосс-функции и калибруем вероятности.
6. Оценка качества модели. Важно не только качество ML-модели, но и качество системы целиком. Обсуждаем качество интерфейса, данных и самой модели. Строим простые бейзлайны. Проверяем качество модели на пьяницах-спортсменах, тестируем модель на устойчивость и вспоминаем парадокс Симпсона. Единственная лекция, в которой есть хоть какие-то примеры кода.
7. Развертывание систем. Архитектура развертывания модели определяет, где будет работать модель, когда будет производится инференс, как модель получит запрос пользователя и как пользователь получит ответ модели. Предсказания можно делать на лету, по запросу, а можно сделать заранее и отдавать готовые по мере необходимости. Что-то лучше считать все в облаке, а что-то прямо на устройстве клиента. Можно ускорить инференс нейронной сети с помощью ONNX или ENOT.AI, раскидать нейронку на несколько GPU с помощью Accelerate и использовать оптимизированные CUDA-ядра DeepSpeed. Главное - не запутаться.
8. Диагностика ошибок и отказов ML-систем. Диагностика проблем с данными. Мониторинг. Обсуждаем естественную и отложенную разметку, прокси-метрики и петлю обратной связи. Разбираем примеры, где деньги - плохая метрика, википедию жарят, а метки зависят от временного горизонта. Рассматриваем специфичные для ML-систем отказы и ошибки, выбросы, крайние случаи, сравнение распределений, мониторинг, усталость от алертов и устройство SLA.
9. Мониторинг и обучение на потоковых данных. Шаблоны обмена данными, асинхронные взаимодействия, издатели, подписчики, Kafra, RabbitMQ, Pub/Sub - вот краткий список того, о чем невозможно рассказать в одной лекции. Но мы попробовали.
10. Жизненный цикл модели. Есть разные модели жизненного цикла ML-систем, но все они сходятся в одном - модель, скорее всего, придется неоднократно переделывать. Новые версии модели нужно будет сравнить со старыми, и решить - какие лучше. Разберем тестирование моделей на живых пользователях, data-centric подход и непрерывное переобучение моделей.
На странице курса также доступны презентации и списки рекомендованных к прочтению материалов для каждой лекции.
Всего планируется 14 лекций + 2 лекции в качестве новогоднего подарка от @Reliable ML🎄.
Не переключайтесь!
#tech #ml_system_design
Список и краткое содержание опубликованных лекций открытого курса ODS 2022
🥳Хопа! Пока мы с вами обсуждали АБ-тесты, в ML System Design Course 2022 подъехали новые крутые лекции.
Вот список всех лекций курса на текущий момент:
1. Практическое применение машинного обучения. Делать ML-модели легко, трудно делать полезные ML-модели. В первой лекции дается определение “дизайна систем машинного обучения”, разбираются предположения ML-систем, их традиционные области применения и отличия академического и промышленного машинного обучения.
2. Основы проектирования ML-систем. Дизайн - это работа с ограничениями, и во второй лекции мы разбираем источники этих ограничений, постановку задачи, метрики и бейзлайны.
3. Обучающие данные. Машинное обучение основано на данных, и в этой лекции мы обсудим проблемы разметки и подготовки данных, проблему дисбаланса классов и сэмплирование.
4. Подготовка и отбор признаков. Задача подготовки данных - упростить обучение модели. Обсуждаем аугментацию для разных типов данных, использование синтетических данных, работу с выбросами и пропущенными значениями, масштабирование, конструирование и отбор признаков. Отдельно мы разговариваем о даталиках - данных, доступных при обучении, но недоступных при использовании модели.
5. Выбор модели, разработка и обучение модели. Сердце ML-системы - модель (или несколько моделей) машинного обучения. Нужно начинать с простого, проверять предположения модели и аккуратно сравнивать разные подходы. Обсуждаем ансамбли, распределенное обучение, гадаем по графикам лосс-функции и калибруем вероятности.
6. Оценка качества модели. Важно не только качество ML-модели, но и качество системы целиком. Обсуждаем качество интерфейса, данных и самой модели. Строим простые бейзлайны. Проверяем качество модели на пьяницах-спортсменах, тестируем модель на устойчивость и вспоминаем парадокс Симпсона. Единственная лекция, в которой есть хоть какие-то примеры кода.
7. Развертывание систем. Архитектура развертывания модели определяет, где будет работать модель, когда будет производится инференс, как модель получит запрос пользователя и как пользователь получит ответ модели. Предсказания можно делать на лету, по запросу, а можно сделать заранее и отдавать готовые по мере необходимости. Что-то лучше считать все в облаке, а что-то прямо на устройстве клиента. Можно ускорить инференс нейронной сети с помощью ONNX или ENOT.AI, раскидать нейронку на несколько GPU с помощью Accelerate и использовать оптимизированные CUDA-ядра DeepSpeed. Главное - не запутаться.
8. Диагностика ошибок и отказов ML-систем. Диагностика проблем с данными. Мониторинг. Обсуждаем естественную и отложенную разметку, прокси-метрики и петлю обратной связи. Разбираем примеры, где деньги - плохая метрика, википедию жарят, а метки зависят от временного горизонта. Рассматриваем специфичные для ML-систем отказы и ошибки, выбросы, крайние случаи, сравнение распределений, мониторинг, усталость от алертов и устройство SLA.
9. Мониторинг и обучение на потоковых данных. Шаблоны обмена данными, асинхронные взаимодействия, издатели, подписчики, Kafra, RabbitMQ, Pub/Sub - вот краткий список того, о чем невозможно рассказать в одной лекции. Но мы попробовали.
10. Жизненный цикл модели. Есть разные модели жизненного цикла ML-систем, но все они сходятся в одном - модель, скорее всего, придется неоднократно переделывать. Новые версии модели нужно будет сравнить со старыми, и решить - какие лучше. Разберем тестирование моделей на живых пользователях, data-centric подход и непрерывное переобучение моделей.
На странице курса также доступны презентации и списки рекомендованных к прочтению материалов для каждой лекции.
Всего планируется 14 лекций + 2 лекции в качестве новогоднего подарка от @Reliable ML🎄.
Не переключайтесь!
#tech #ml_system_design
🔥21👍9
Митап ODS Reliable ML по АБ-тестированию и Causal Inference - 17 декабря
Анонсы докладов
Всем привет!
Не всё же читать про АБ-тесты, давайте про них говорить!
17 декабря мы с Димой приглашаем вас на митап по АБ-тестам от канала @Reliable ML и Open Data Science.
В программе 9 докладов от мэтров в этой области. Начнем в 11 утра по Мск, закончим - примерно в 18 (или как пойдет).
Регистрация на митап туть!
Очень хотелось бы, чтобы этот митап получился в формате живого обсуждения сложных и интересных тем, с которыми мы с вами встречаемся на практике. А не просто рассказа докладов. Так что просим начинать готовить вопросы участникам и ваши практические кейсы, связанные с АБ, которыми готовы поделиться.
Программа:
11:00 - Ваагн Минасян, Lead DS @ X5 Tech - Оценки с двойной надёжностью для выявления причинно-следственных связей в бизнесе
11:45 - Дмитрий Васькин, Data Scientist @ Lenta - Synthetic Control для AB тестов на малых размерах выборок
12:30 - Аслан Байрамкулов, Head of Experimental Group @ МТС BigData - Ambrosia - open-source библиотека для быстрой и удобной работы с A/B тестами
13:15 - Артем Ерохин, Lead DS @ X5 Tech - Balancing Methods in Causal Inference
14:30 - Александр Сахнов - Парный, пуассоновский и дикий бутстреп
15:15 - Валерий Бабушкин, VP, Data Science @ Blockchain.com - Метрики: от офлайна до иерархии
16:00 - Максим Кочуров, PyMC Labs - Планирование Байесовских АБ тестов
16:45 - Дмитрий Торшин, Data Scientist @ Lenta - Causal Impact и как его готовить
17:30 - Григорий Чернов, PhD in Economics, University of Tuebingen, ВШЭ - Causal Discovery Methods for Experimental Design
Далее постараемся рассказать подробнее об отдельных докладах!
#анонс #tech #ab_testing
Анонсы докладов
Всем привет!
Не всё же читать про АБ-тесты, давайте про них говорить!
17 декабря мы с Димой приглашаем вас на митап по АБ-тестам от канала @Reliable ML и Open Data Science.
В программе 9 докладов от мэтров в этой области. Начнем в 11 утра по Мск, закончим - примерно в 18 (или как пойдет).
Регистрация на митап туть!
Очень хотелось бы, чтобы этот митап получился в формате живого обсуждения сложных и интересных тем, с которыми мы с вами встречаемся на практике. А не просто рассказа докладов. Так что просим начинать готовить вопросы участникам и ваши практические кейсы, связанные с АБ, которыми готовы поделиться.
Программа:
11:00 - Ваагн Минасян, Lead DS @ X5 Tech - Оценки с двойной надёжностью для выявления причинно-следственных связей в бизнесе
11:45 - Дмитрий Васькин, Data Scientist @ Lenta - Synthetic Control для AB тестов на малых размерах выборок
12:30 - Аслан Байрамкулов, Head of Experimental Group @ МТС BigData - Ambrosia - open-source библиотека для быстрой и удобной работы с A/B тестами
13:15 - Артем Ерохин, Lead DS @ X5 Tech - Balancing Methods in Causal Inference
14:30 - Александр Сахнов - Парный, пуассоновский и дикий бутстреп
15:15 - Валерий Бабушкин, VP, Data Science @ Blockchain.com - Метрики: от офлайна до иерархии
16:00 - Максим Кочуров, PyMC Labs - Планирование Байесовских АБ тестов
16:45 - Дмитрий Торшин, Data Scientist @ Lenta - Causal Impact и как его готовить
17:30 - Григорий Чернов, PhD in Economics, University of Tuebingen, ВШЭ - Causal Discovery Methods for Experimental Design
Далее постараемся рассказать подробнее об отдельных докладах!
#анонс #tech #ab_testing
🔥21👍11
Ваагн Минасян - Оценки с двойной надёжностью для выявления причинно-следственных связей в бизнесе
17 декабря - митап ODS Reliable ML по AB-тестированию и Causal Inference
В эту субботу 17 декабря в 11:00 наш митап откроет Ваагн Минасян, Lead DS @ X5 Tech.
Ваагн расскажет об одном из аспектов A/B тестирования: о ситуации, когда не было предварительного случайного разделения на группы, но ставится задача оценить влияние того или иного воздействия на бизнес-показатели. Акцент будет сделан на том, как "хорошо" оценить влияние и застраховать себя от потенциальных проблем с моделями/оценками. Будут рассмотрены оценки с двойной надёжностью, при которых оценки получаются "хорошими", если верно задана хотя бы одна из моделей: либо модель разделения на целевую и контрольную группы, либо модель влияния на метрику.
Всех ждем!
Регистрация на мероприятие тут.
Ваш @Reliable ML
#анонс #tech #ab_testing
17 декабря - митап ODS Reliable ML по AB-тестированию и Causal Inference
В эту субботу 17 декабря в 11:00 наш митап откроет Ваагн Минасян, Lead DS @ X5 Tech.
Ваагн расскажет об одном из аспектов A/B тестирования: о ситуации, когда не было предварительного случайного разделения на группы, но ставится задача оценить влияние того или иного воздействия на бизнес-показатели. Акцент будет сделан на том, как "хорошо" оценить влияние и застраховать себя от потенциальных проблем с моделями/оценками. Будут рассмотрены оценки с двойной надёжностью, при которых оценки получаются "хорошими", если верно задана хотя бы одна из моделей: либо модель разделения на целевую и контрольную группы, либо модель влияния на метрику.
Всех ждем!
Регистрация на мероприятие тут.
Ваш @Reliable ML
#анонс #tech #ab_testing
👍13❤1🤔1
Валерий Бабушкин - Метрики: от офлайна до иерархии
17 декабря - митап ODS Reliable ML по AB-тестированию и Causal Inference
В 15:15 на нашем митапе выступит Валерий Бабушкин, VP, Data Science @ Blockchain.com, автор канала @Время Валеры.
Валера расскажет про онлайн, офлайн и прокси метрики, а также про иерархию метрик в АБ-тестах.
Регистрация на мероприятие тут.
Полное расписание мероприятия тут.
Ваш @Reliable ML
#анонс #tech #ab_testing
17 декабря - митап ODS Reliable ML по AB-тестированию и Causal Inference
В 15:15 на нашем митапе выступит Валерий Бабушкин, VP, Data Science @ Blockchain.com, автор канала @Время Валеры.
Валера расскажет про онлайн, офлайн и прокси метрики, а также про иерархию метрик в АБ-тестах.
Регистрация на мероприятие тут.
Полное расписание мероприятия тут.
Ваш @Reliable ML
#анонс #tech #ab_testing
👍14🔥7
Григорий Чернов - Про что не расскажут АБ тесты: Causal Discovery Methods for Experimental Design
17 декабря - митап ODS Reliable ML по AB-тестированию и Causal Inference
В 17:30 по Мск на нашем митапе выступит Григорий Чернов, Ph.D. in economics, Guest researcher University of Tuebingen, внештатный сотрудник центра теории рынков и пространственной экономики ВШЭ.
Рассказ пойдет о предположениях, которые лежат под капотом у таких вроде бы надежных и проверенных временем методов, как экспериментальные интервенции (оно же RCT/AB и др.). Далее, предполагается обсуждение того, как современные графические методы из causal inference могут быть полезны для планирования экспериментов. В частности, поговорим о том, как учесть предварительно собранные наблюдаемые данные или domain expertise при планировании факторных экспериментов (когда предположение о аддитивности или линейности эффектов не выполняется).
Регистрация на мероприятие тут.
Полное расписание мероприятия тут.
Ваш @Reliable ML
#анонс #tech #ab_testing
17 декабря - митап ODS Reliable ML по AB-тестированию и Causal Inference
В 17:30 по Мск на нашем митапе выступит Григорий Чернов, Ph.D. in economics, Guest researcher University of Tuebingen, внештатный сотрудник центра теории рынков и пространственной экономики ВШЭ.
Рассказ пойдет о предположениях, которые лежат под капотом у таких вроде бы надежных и проверенных временем методов, как экспериментальные интервенции (оно же RCT/AB и др.). Далее, предполагается обсуждение того, как современные графические методы из causal inference могут быть полезны для планирования экспериментов. В частности, поговорим о том, как учесть предварительно собранные наблюдаемые данные или domain expertise при планировании факторных экспериментов (когда предположение о аддитивности или линейности эффектов не выполняется).
Регистрация на мероприятие тут.
Полное расписание мероприятия тут.
Ваш @Reliable ML
#анонс #tech #ab_testing
👍12🔥3