Митап ODS Reliable ML по АБ-тестированию и Causal Inference - 17 декабря
Анонсы докладов
Всем привет!
Не всё же читать про АБ-тесты, давайте про них говорить!
17 декабря мы с Димой приглашаем вас на митап по АБ-тестам от канала @Reliable ML и Open Data Science.
В программе 9 докладов от мэтров в этой области. Начнем в 11 утра по Мск, закончим - примерно в 18 (или как пойдет).
Регистрация на митап туть!
Очень хотелось бы, чтобы этот митап получился в формате живого обсуждения сложных и интересных тем, с которыми мы с вами встречаемся на практике. А не просто рассказа докладов. Так что просим начинать готовить вопросы участникам и ваши практические кейсы, связанные с АБ, которыми готовы поделиться.
Программа:
11:00 - Ваагн Минасян, Lead DS @ X5 Tech - Оценки с двойной надёжностью для выявления причинно-следственных связей в бизнесе
11:45 - Дмитрий Васькин, Data Scientist @ Lenta - Synthetic Control для AB тестов на малых размерах выборок
12:30 - Аслан Байрамкулов, Head of Experimental Group @ МТС BigData - Ambrosia - open-source библиотека для быстрой и удобной работы с A/B тестами
13:15 - Артем Ерохин, Lead DS @ X5 Tech - Balancing Methods in Causal Inference
14:30 - Александр Сахнов - Парный, пуассоновский и дикий бутстреп
15:15 - Валерий Бабушкин, VP, Data Science @ Blockchain.com - Метрики: от офлайна до иерархии
16:00 - Максим Кочуров, PyMC Labs - Планирование Байесовских АБ тестов
16:45 - Дмитрий Торшин, Data Scientist @ Lenta - Causal Impact и как его готовить
17:30 - Григорий Чернов, PhD in Economics, University of Tuebingen, ВШЭ - Causal Discovery Methods for Experimental Design
Далее постараемся рассказать подробнее об отдельных докладах!
#анонс #tech #ab_testing
Анонсы докладов
Всем привет!
Не всё же читать про АБ-тесты, давайте про них говорить!
17 декабря мы с Димой приглашаем вас на митап по АБ-тестам от канала @Reliable ML и Open Data Science.
В программе 9 докладов от мэтров в этой области. Начнем в 11 утра по Мск, закончим - примерно в 18 (или как пойдет).
Регистрация на митап туть!
Очень хотелось бы, чтобы этот митап получился в формате живого обсуждения сложных и интересных тем, с которыми мы с вами встречаемся на практике. А не просто рассказа докладов. Так что просим начинать готовить вопросы участникам и ваши практические кейсы, связанные с АБ, которыми готовы поделиться.
Программа:
11:00 - Ваагн Минасян, Lead DS @ X5 Tech - Оценки с двойной надёжностью для выявления причинно-следственных связей в бизнесе
11:45 - Дмитрий Васькин, Data Scientist @ Lenta - Synthetic Control для AB тестов на малых размерах выборок
12:30 - Аслан Байрамкулов, Head of Experimental Group @ МТС BigData - Ambrosia - open-source библиотека для быстрой и удобной работы с A/B тестами
13:15 - Артем Ерохин, Lead DS @ X5 Tech - Balancing Methods in Causal Inference
14:30 - Александр Сахнов - Парный, пуассоновский и дикий бутстреп
15:15 - Валерий Бабушкин, VP, Data Science @ Blockchain.com - Метрики: от офлайна до иерархии
16:00 - Максим Кочуров, PyMC Labs - Планирование Байесовских АБ тестов
16:45 - Дмитрий Торшин, Data Scientist @ Lenta - Causal Impact и как его готовить
17:30 - Григорий Чернов, PhD in Economics, University of Tuebingen, ВШЭ - Causal Discovery Methods for Experimental Design
Далее постараемся рассказать подробнее об отдельных докладах!
#анонс #tech #ab_testing
🔥21👍11
Ваагн Минасян - Оценки с двойной надёжностью для выявления причинно-следственных связей в бизнесе
17 декабря - митап ODS Reliable ML по AB-тестированию и Causal Inference
В эту субботу 17 декабря в 11:00 наш митап откроет Ваагн Минасян, Lead DS @ X5 Tech.
Ваагн расскажет об одном из аспектов A/B тестирования: о ситуации, когда не было предварительного случайного разделения на группы, но ставится задача оценить влияние того или иного воздействия на бизнес-показатели. Акцент будет сделан на том, как "хорошо" оценить влияние и застраховать себя от потенциальных проблем с моделями/оценками. Будут рассмотрены оценки с двойной надёжностью, при которых оценки получаются "хорошими", если верно задана хотя бы одна из моделей: либо модель разделения на целевую и контрольную группы, либо модель влияния на метрику.
Всех ждем!
Регистрация на мероприятие тут.
Ваш @Reliable ML
#анонс #tech #ab_testing
17 декабря - митап ODS Reliable ML по AB-тестированию и Causal Inference
В эту субботу 17 декабря в 11:00 наш митап откроет Ваагн Минасян, Lead DS @ X5 Tech.
Ваагн расскажет об одном из аспектов A/B тестирования: о ситуации, когда не было предварительного случайного разделения на группы, но ставится задача оценить влияние того или иного воздействия на бизнес-показатели. Акцент будет сделан на том, как "хорошо" оценить влияние и застраховать себя от потенциальных проблем с моделями/оценками. Будут рассмотрены оценки с двойной надёжностью, при которых оценки получаются "хорошими", если верно задана хотя бы одна из моделей: либо модель разделения на целевую и контрольную группы, либо модель влияния на метрику.
Всех ждем!
Регистрация на мероприятие тут.
Ваш @Reliable ML
#анонс #tech #ab_testing
👍13❤1🤔1
Валерий Бабушкин - Метрики: от офлайна до иерархии
17 декабря - митап ODS Reliable ML по AB-тестированию и Causal Inference
В 15:15 на нашем митапе выступит Валерий Бабушкин, VP, Data Science @ Blockchain.com, автор канала @Время Валеры.
Валера расскажет про онлайн, офлайн и прокси метрики, а также про иерархию метрик в АБ-тестах.
Регистрация на мероприятие тут.
Полное расписание мероприятия тут.
Ваш @Reliable ML
#анонс #tech #ab_testing
17 декабря - митап ODS Reliable ML по AB-тестированию и Causal Inference
В 15:15 на нашем митапе выступит Валерий Бабушкин, VP, Data Science @ Blockchain.com, автор канала @Время Валеры.
Валера расскажет про онлайн, офлайн и прокси метрики, а также про иерархию метрик в АБ-тестах.
Регистрация на мероприятие тут.
Полное расписание мероприятия тут.
Ваш @Reliable ML
#анонс #tech #ab_testing
👍14🔥7
Григорий Чернов - Про что не расскажут АБ тесты: Causal Discovery Methods for Experimental Design
17 декабря - митап ODS Reliable ML по AB-тестированию и Causal Inference
В 17:30 по Мск на нашем митапе выступит Григорий Чернов, Ph.D. in economics, Guest researcher University of Tuebingen, внештатный сотрудник центра теории рынков и пространственной экономики ВШЭ.
Рассказ пойдет о предположениях, которые лежат под капотом у таких вроде бы надежных и проверенных временем методов, как экспериментальные интервенции (оно же RCT/AB и др.). Далее, предполагается обсуждение того, как современные графические методы из causal inference могут быть полезны для планирования экспериментов. В частности, поговорим о том, как учесть предварительно собранные наблюдаемые данные или domain expertise при планировании факторных экспериментов (когда предположение о аддитивности или линейности эффектов не выполняется).
Регистрация на мероприятие тут.
Полное расписание мероприятия тут.
Ваш @Reliable ML
#анонс #tech #ab_testing
17 декабря - митап ODS Reliable ML по AB-тестированию и Causal Inference
В 17:30 по Мск на нашем митапе выступит Григорий Чернов, Ph.D. in economics, Guest researcher University of Tuebingen, внештатный сотрудник центра теории рынков и пространственной экономики ВШЭ.
Рассказ пойдет о предположениях, которые лежат под капотом у таких вроде бы надежных и проверенных временем методов, как экспериментальные интервенции (оно же RCT/AB и др.). Далее, предполагается обсуждение того, как современные графические методы из causal inference могут быть полезны для планирования экспериментов. В частности, поговорим о том, как учесть предварительно собранные наблюдаемые данные или domain expertise при планировании факторных экспериментов (когда предположение о аддитивности или линейности эффектов не выполняется).
Регистрация на мероприятие тут.
Полное расписание мероприятия тут.
Ваш @Reliable ML
#анонс #tech #ab_testing
👍12🔥3
Артем Ерохин - Методы балансировки в causal inference
17 декабря - митап ODS Reliable ML по AB-тестированию и Causal Inference
В 13:15 17 декабря на нашем митапе выступит Артем Ерохин, Lead DS X5 Tech, автор канала @Artificial Stupid.
В докладе Артем расскажет о том, что такое балансировка в causal inference, какие методы балансировки существуют и как они работают.
Регистрация на мероприятие тут.
Полное расписание мероприятия тут.
Ваш @Reliable ML
#анонс #tech #ab_testing
17 декабря - митап ODS Reliable ML по AB-тестированию и Causal Inference
В 13:15 17 декабря на нашем митапе выступит Артем Ерохин, Lead DS X5 Tech, автор канала @Artificial Stupid.
В докладе Артем расскажет о том, что такое балансировка в causal inference, какие методы балансировки существуют и как они работают.
Регистрация на мероприятие тут.
Полное расписание мероприятия тут.
Ваш @Reliable ML
#анонс #tech #ab_testing
👍7❤1
Байрамкулов Аслан - Ambrosia - open-source библиотека для быстрой и удобной работы с A/B тестами
17 декабря - митап ODS Reliable ML по AB-тестированию и Causal Inference
В эту субботу 17 декабря в 12:30 на нашем митапе выступит Аслан Байрамкулов, руководитель группы экспериментальных направлений, МТС BigData. Многие могут знать Аслана также и по регулярным итогам года в АБ-тестировании на Дата-ёлках ODS.
В своем докладе Аслан расскажет:
1) про кейсы A/B тестов в МТС BigData, про то, какие бывают эксперименты и как они проводятся на конкретных примерах;
2) про мотивацию создания этой библиотеки, как, зачем и почему мы ее сделали и хотим дальше развивать;
3) что Ambrosia умеет уже сейчас и чем она лучше других инструментов;
4) Ближайшие планы по развитию инструмента.
Регистрация на мероприятие тут.
Полное расписание мероприятия тут.
Ваш @Reliable ML
#анонс #tech #ab_testing
17 декабря - митап ODS Reliable ML по AB-тестированию и Causal Inference
В эту субботу 17 декабря в 12:30 на нашем митапе выступит Аслан Байрамкулов, руководитель группы экспериментальных направлений, МТС BigData. Многие могут знать Аслана также и по регулярным итогам года в АБ-тестировании на Дата-ёлках ODS.
В своем докладе Аслан расскажет:
1) про кейсы A/B тестов в МТС BigData, про то, какие бывают эксперименты и как они проводятся на конкретных примерах;
2) про мотивацию создания этой библиотеки, как, зачем и почему мы ее сделали и хотим дальше развивать;
3) что Ambrosia умеет уже сейчас и чем она лучше других инструментов;
4) Ближайшие планы по развитию инструмента.
Регистрация на мероприятие тут.
Полное расписание мероприятия тут.
Ваш @Reliable ML
#анонс #tech #ab_testing
👍8🔥1
Дмитрий Торшин - Causal Impact и как его готовить
17 декабря - митап ODS Reliable ML по AB-тестированию и Causal Inference
В 16:45 на нашем митапе выступит Дмитрий Торшин, Data Scientist @ Лента.
В докладе Дмитрий расскажет:
- Как устроен Causal Impact и в каких случаях его стоит применять.
- Как используется Causal Impact в Ленте и какие доработки потребовались, чтобы получать устойчивые результаты и эффективно оценивать нововведения.
Регистрация на мероприятие тут.
Полное расписание мероприятия тут.
Ваш @Reliable ML
#анонс #tech #ab_testing
17 декабря - митап ODS Reliable ML по AB-тестированию и Causal Inference
В 16:45 на нашем митапе выступит Дмитрий Торшин, Data Scientist @ Лента.
В докладе Дмитрий расскажет:
- Как устроен Causal Impact и в каких случаях его стоит применять.
- Как используется Causal Impact в Ленте и какие доработки потребовались, чтобы получать устойчивые результаты и эффективно оценивать нововведения.
Регистрация на мероприятие тут.
Полное расписание мероприятия тут.
Ваш @Reliable ML
#анонс #tech #ab_testing
👍7🔥3❤1
Александр Сахнов - Парный, пуассоновский и дикий бутстреп
17 декабря - митап ODS Reliable ML по AB-тестированию и Causal Inference
В 14:30 17 декабря Александр Сахнов расскажет о разных типах бутстрепа, их преимуществах, недостатках и границах применимости.
Регистрация на мероприятие тут.
Полное расписание мероприятия тут.
Ваш @Reliable ML
#анонс #tech #ab_testing
17 декабря - митап ODS Reliable ML по AB-тестированию и Causal Inference
В 14:30 17 декабря Александр Сахнов расскажет о разных типах бутстрепа, их преимуществах, недостатках и границах применимости.
Регистрация на мероприятие тут.
Полное расписание мероприятия тут.
Ваш @Reliable ML
#анонс #tech #ab_testing
🔥11❤2
Дмитрий Васькин - Synthetic Control для AB тестов на малых размерах выборок
17 декабря - митап ODS Reliable ML по AB-тестированию и Causal Inference
В 11:45 на нашем митапе выступит Дмитрий Васькин, Data Scientist @ Лента.
Дима расскажет о том, что такое синтетический контроль и как он помогает проводить АБ тесты в Ленте даже на небольшом числе магазинов.
Подробнее будут рассмотрены: (1) методы, позволяющие снизить минимально детектируемый эффект и улучшить точность моделей, используемых при синтетическом контроле, (2) способы оценок ошибок I и II рода после применения синтетического контроля.
Регистрация на мероприятие тут.
Полное расписание мероприятия тут.
Ваш @Reliable ML
#анонс #tech #ab_testing
17 декабря - митап ODS Reliable ML по AB-тестированию и Causal Inference
В 11:45 на нашем митапе выступит Дмитрий Васькин, Data Scientist @ Лента.
Дима расскажет о том, что такое синтетический контроль и как он помогает проводить АБ тесты в Ленте даже на небольшом числе магазинов.
Подробнее будут рассмотрены: (1) методы, позволяющие снизить минимально детектируемый эффект и улучшить точность моделей, используемых при синтетическом контроле, (2) способы оценок ошибок I и II рода после применения синтетического контроля.
Регистрация на мероприятие тут.
Полное расписание мероприятия тут.
Ваш @Reliable ML
#анонс #tech #ab_testing
👍12🔥2❤1
Максим Кочуров - Планирование Байесовских АБ тестов
17 декабря - митап ODS Reliable ML по AB-тестированию и Causal Inference
В эту субботу в 16:00 на нашем митапе Максим Кочуров из PyMC Labs расскажет про Байесовский подход к AB тестированию.
Подход состоит из 3 этапов: составление гипотезы про эксперимент, понимание ограничений на время и данные, интерпретирование результатов после сбора данных. Преимуществом является то, что Байесовский AB(C) тест не требует p-values, коррекций или процедур бутстрапа, консервативный (не преувеличивает результат на малых данных) и легко интерпретируем для бизнеса.
Регистрация на мероприятие тут.
Полное расписание мероприятия тут.
Ваш @Reliable ML
#анонс #tech #ab_testing
17 декабря - митап ODS Reliable ML по AB-тестированию и Causal Inference
В эту субботу в 16:00 на нашем митапе Максим Кочуров из PyMC Labs расскажет про Байесовский подход к AB тестированию.
Подход состоит из 3 этапов: составление гипотезы про эксперимент, понимание ограничений на время и данные, интерпретирование результатов после сбора данных. Преимуществом является то, что Байесовский AB(C) тест не требует p-values, коррекций или процедур бутстрапа, консервативный (не преувеличивает результат на малых данных) и легко интерпретируем для бизнеса.
Регистрация на мероприятие тут.
Полное расписание мероприятия тут.
Ваш @Reliable ML
#анонс #tech #ab_testing
👍8🔥1
Премия Экономического факультета МГУ
Открытое голосование до 19 декабря 2022 г.
Родной и любимый экономический факультет, оказывается, выдвинул меня в этом году на премию с открытым голосованием. Должность написана не совсем правильно, но так мне тоже нравится 🙂 И про Reliable ML написано!
В общем, если вам интересно посмотреть, что там как и за кого-нибудь проголосовать, это можно сделать вот тут.
Все кандидаты очень достойные.
А еще есть номинация Золото Эконома с открытым голосованием за преподавателей факультета. Только среди них каждый - Золото Эконома.
На самом деле, не найти слов, как я благодарна факультету за время, проведенное там: за возможность общаться с потрясающими людьми (преподавателями, студентами, выпускниками), за полученные знания, жизненные принципы и взгляды. За умение не бояться задач любой сложности. Так что, кажется, это я должна выдвигать факультет на премии, а не наоборот.
#без_тега
Открытое голосование до 19 декабря 2022 г.
Родной и любимый экономический факультет, оказывается, выдвинул меня в этом году на премию с открытым голосованием. Должность написана не совсем правильно, но так мне тоже нравится 🙂 И про Reliable ML написано!
В общем, если вам интересно посмотреть, что там как и за кого-нибудь проголосовать, это можно сделать вот тут.
Все кандидаты очень достойные.
А еще есть номинация Золото Эконома с открытым голосованием за преподавателей факультета. Только среди них каждый - Золото Эконома.
На самом деле, не найти слов, как я благодарна факультету за время, проведенное там: за возможность общаться с потрясающими людьми (преподавателями, студентами, выпускниками), за полученные знания, жизненные принципы и взгляды. За умение не бояться задач любой сложности. Так что, кажется, это я должна выдвигать факультет на премии, а не наоборот.
#без_тега
👏14👍4🔥3❤1
AB Testing & Causal Inference Meetup
Скоро стартуем
Всем доброе утро!
С 11:00 начинаем наш AB Testing & Causal Inference Meetup от Reliable ML и ODS.
Чтобы попасть на митап (после регистрации) нужно зайти по ссылке и далее по инструкции зайти в spatial.chat.
Напомним программу на сегодня:
11:00 - Ваагн Минасян - Оценки с двойной надёжностью для выявления причинно-следственных связей в бизнесе
11:45 - Дмитрий Васькин - Synthetic Control для AB тестов на малых размерах выборок
12:30 - Аслан Байрамкулов - Ambrosia - open-source библиотека для быстрой и удобной работы с A/B тестами
13:15 - Артем Ерохин - Balancing Methods in Causal Inference
14:30 - Александр Сахнов - Парный, пуассоновский и дикий бутстреп
15:15 - Валерий Бабушкин - Метрики: от офлайна до иерархии
16:00 - Максим Кочуров - Планирование Байесовских АБ тестов
16:45 - Дмитрий Торшин - Causal Impact и как его готовить
17:30 - Григорий Чернов - Causal Discovery Methods for Experimental Design
#анонс #tech #ab_testing #causal_inference
Скоро стартуем
Всем доброе утро!
С 11:00 начинаем наш AB Testing & Causal Inference Meetup от Reliable ML и ODS.
Чтобы попасть на митап (после регистрации) нужно зайти по ссылке и далее по инструкции зайти в spatial.chat.
Напомним программу на сегодня:
11:00 - Ваагн Минасян - Оценки с двойной надёжностью для выявления причинно-следственных связей в бизнесе
11:45 - Дмитрий Васькин - Synthetic Control для AB тестов на малых размерах выборок
12:30 - Аслан Байрамкулов - Ambrosia - open-source библиотека для быстрой и удобной работы с A/B тестами
13:15 - Артем Ерохин - Balancing Methods in Causal Inference
14:30 - Александр Сахнов - Парный, пуассоновский и дикий бутстреп
15:15 - Валерий Бабушкин - Метрики: от офлайна до иерархии
16:00 - Максим Кочуров - Планирование Байесовских АБ тестов
16:45 - Дмитрий Торшин - Causal Impact и как его готовить
17:30 - Григорий Чернов - Causal Discovery Methods for Experimental Design
#анонс #tech #ab_testing #causal_inference
👍10❤2
AB Testing & Causal Inference Meetup
Небольшие изменения в расписании
У нас небольшие перемещения в расписании.
Дальше расписание следующее:
15:15 - Валерий Бабушкин - Метрики: от офлайна до иерархии
16:00 - Григорий Чернов - Causal Discovery Methods for Experimental Design
16:45 - Дмитрий Торшин - Causal Impact и как его готовить
17:30 - Максим Кочуров - Планирование Байесовских АБ тестов
#анонс #tech #ab_testing #causal_inference
Небольшие изменения в расписании
У нас небольшие перемещения в расписании.
Дальше расписание следующее:
15:15 - Валерий Бабушкин - Метрики: от офлайна до иерархии
16:00 - Григорий Чернов - Causal Discovery Methods for Experimental Design
16:45 - Дмитрий Торшин - Causal Impact и как его готовить
17:30 - Максим Кочуров - Планирование Байесовских АБ тестов
#анонс #tech #ab_testing #causal_inference
👍2❤1🔥1
Презентации докладов - AB Testing & Causal Inference Meetup
Пока свежо преданье, публикуем презентации докладов спикеров нашего субботнего митапа.
Все доклады можно найти в гуглпапке по ссылке. Ниже ссылки на отдельные доклады.
- Ваагн Минасян - Оценки с двойной надёжностью для выявления причинно-следственных связей в бизнесе
- Дмитрий Васькин - Synthetic Control для AB тестов на малых размерах выборок
- Аслан Байрамкулов - Ambrosia - open-source библиотека для быстрой и удобной работы с A/B тестами
- Артем Ерохин - Balancing Methods in Causal Inference
- Александр Сахнов - Парный, пуассоновский и дикий бутстреп
- Валерий Бабушкин - Метрики: от офлайна до иерархии
- Григорий Чернов - Causal Discovery Methods for Experimental Design
- Дмитрий Торшин - Causal Impact и как его готовить
- Максим Кочуров - Планирование Байесовских АБ тестов
Видеозаписи будут выложены на Youtube канале ODS в январе 2023 г.
Анонсы будут в нашем канале.
Ваш @Reliable ML
#tech #ab_testing #causal_inference
Пока свежо преданье, публикуем презентации докладов спикеров нашего субботнего митапа.
Все доклады можно найти в гуглпапке по ссылке. Ниже ссылки на отдельные доклады.
- Ваагн Минасян - Оценки с двойной надёжностью для выявления причинно-следственных связей в бизнесе
- Дмитрий Васькин - Synthetic Control для AB тестов на малых размерах выборок
- Аслан Байрамкулов - Ambrosia - open-source библиотека для быстрой и удобной работы с A/B тестами
- Артем Ерохин - Balancing Methods in Causal Inference
- Александр Сахнов - Парный, пуассоновский и дикий бутстреп
- Валерий Бабушкин - Метрики: от офлайна до иерархии
- Григорий Чернов - Causal Discovery Methods for Experimental Design
- Дмитрий Торшин - Causal Impact и как его готовить
- Максим Кочуров - Планирование Байесовских АБ тестов
Видеозаписи будут выложены на Youtube канале ODS в январе 2023 г.
Анонсы будут в нашем канале.
Ваш @Reliable ML
#tech #ab_testing #causal_inference
👍21❤10🔥10
ML System Design Course 2022 - лекции
Список и краткое содержание опубликованных лекций
В ML System Design курсе появились финальные блоки лекций:
(1) лекции 11-16 основной части курса
(2) две бонус-лекции от Reliable ML.
Ниже список и краткое содержание лекций 11-16:
11. Отслеживание экспериментов и версионирование моделей. Краткое введение в версионирование данных, реестры моделей и обзор типичных проблем воспроизводимости.
12. Сложные модели: временные ряды, модели над графами. Технологии работы с временными рядами: особенности работы с значениями времени, технологии и проблемы хранения данных, шаблоны построения пайплайнов, временной ряд как текст. Работа с графовыми данными - сбор, хранение, анализ, process mining.
13. Непредвзятость, безопасность, управление моделями. Карточки моделей как товарная этикетка для ML-моделей. Безопасность ML-систем, угрозы, атаки, анализ и управление рисками. Обеспечение безопасности как непрерывный процесс на протяжении всего жизненного цикла системы. Введение в этику машинного обучения, псевдозакономерности и неприятные ошибки на подвыборках.
14. ML-инфраструктура и платформы. Что такое инфраструктура и сколько ее нужно. Чем процессоры отличаются друг от друга, сколько vCPU в одном ядре и почему одно ядро с гипертредингом считают за два. Сколько стартапы тратят на облака. Чем планировщик отличается от оркестратора, где хранить признаки и нужны ли нам большие сервера для больших данных.
15. Интеграция ML-систем в бизнес-процессы. Бизнес-процессы и системы, в которых они выполняются. Сложности интеграции, управление изменениями, смежные и обеспечивающие системы, контролируемая деградация и контрольные списки.
Список и краткое содержание лекций 1-10 можно посмотреть тут.
На странице курса также доступны презентации и списки рекомендованных к прочтению материалов для каждой лекции.
Две обещанные бонусные лекции в качестве новогоднего подарка от @Reliable ML тоже уже опубликованы. О них - следующим постом.
🎄
#tech #ml_system_design
Список и краткое содержание опубликованных лекций
В ML System Design курсе появились финальные блоки лекций:
(1) лекции 11-16 основной части курса
(2) две бонус-лекции от Reliable ML.
Ниже список и краткое содержание лекций 11-16:
11. Отслеживание экспериментов и версионирование моделей. Краткое введение в версионирование данных, реестры моделей и обзор типичных проблем воспроизводимости.
12. Сложные модели: временные ряды, модели над графами. Технологии работы с временными рядами: особенности работы с значениями времени, технологии и проблемы хранения данных, шаблоны построения пайплайнов, временной ряд как текст. Работа с графовыми данными - сбор, хранение, анализ, process mining.
13. Непредвзятость, безопасность, управление моделями. Карточки моделей как товарная этикетка для ML-моделей. Безопасность ML-систем, угрозы, атаки, анализ и управление рисками. Обеспечение безопасности как непрерывный процесс на протяжении всего жизненного цикла системы. Введение в этику машинного обучения, псевдозакономерности и неприятные ошибки на подвыборках.
14. ML-инфраструктура и платформы. Что такое инфраструктура и сколько ее нужно. Чем процессоры отличаются друг от друга, сколько vCPU в одном ядре и почему одно ядро с гипертредингом считают за два. Сколько стартапы тратят на облака. Чем планировщик отличается от оркестратора, где хранить признаки и нужны ли нам большие сервера для больших данных.
15. Интеграция ML-систем в бизнес-процессы. Бизнес-процессы и системы, в которых они выполняются. Сложности интеграции, управление изменениями, смежные и обеспечивающие системы, контролируемая деградация и контрольные списки.
Список и краткое содержание лекций 1-10 можно посмотреть тут.
На странице курса также доступны презентации и списки рекомендованных к прочтению материалов для каждой лекции.
Две обещанные бонусные лекции в качестве новогоднего подарка от @Reliable ML тоже уже опубликованы. О них - следующим постом.
🎄
#tech #ml_system_design
🔥22👍16❤2
ML System Design Course 2022 - бонусные лекции от Reliable ML
Финальный блок лекций курса
В рамках курса ODS по ML System Design опубликовано две бонусные лекции от Reliable ML.
16. Reliable ML - Интеграция в бизнес-процессы.
Что стоит предусмотреть на этапе дизайна ML системы для того, чтобы последующая интеграция разработанного решения в бизнес-процессы произошла наиболее гладко - и главное, в итоге принесла положительную финансовую прибыль компании. Дополнение к лекции 15.
17. Reliable ML - ML System Design Doc.
Курс почти прошли - теперь знаем как дизайнить ML системы. А как физически уместить в голове все этапы и нюансы дизайна конкретной системы и при этом еще и синхронизировать их и с технической командой, и с бизнес-заказчиком?
В голове не уместить - но можно записать в отдельном документе ML System Design Doc. В лекции рассказываем о том, как, когда и зачем работать с таким документом.
А главное - публикуем в открытый доступ GitHub Repo с шаблоном ML System Design Doc для российской практики.
Отзывы, звездочки, дополнения/улучшения к репозиторию очень приветствуются!
По нашему с Димой мнению, введение дизайн дока в процессы работы Data Science команд может воистину революционно поднять качество работы и применимость итогового решения для бизнеса.
Вот тут в лекции есть также инсайты о том, как заставить нас с Димой сделать вам дизайн док.
На странице курса также доступны презентации и списки рекомендованных к прочтению материалов для каждой лекции.
Этим постом мы также поздравляем всех с публикацией всех лекций курса! 🥳
Вышли на финишную прямую и защиту проекта!
С Наступающим Новым Годом! 🎄🥂
Ваш @Reliable ML
#business #tech #ml_system_design
Финальный блок лекций курса
В рамках курса ODS по ML System Design опубликовано две бонусные лекции от Reliable ML.
16. Reliable ML - Интеграция в бизнес-процессы.
Что стоит предусмотреть на этапе дизайна ML системы для того, чтобы последующая интеграция разработанного решения в бизнес-процессы произошла наиболее гладко - и главное, в итоге принесла положительную финансовую прибыль компании. Дополнение к лекции 15.
17. Reliable ML - ML System Design Doc.
Курс почти прошли - теперь знаем как дизайнить ML системы. А как физически уместить в голове все этапы и нюансы дизайна конкретной системы и при этом еще и синхронизировать их и с технической командой, и с бизнес-заказчиком?
В голове не уместить - но можно записать в отдельном документе ML System Design Doc. В лекции рассказываем о том, как, когда и зачем работать с таким документом.
А главное - публикуем в открытый доступ GitHub Repo с шаблоном ML System Design Doc для российской практики.
Отзывы, звездочки, дополнения/улучшения к репозиторию очень приветствуются!
По нашему с Димой мнению, введение дизайн дока в процессы работы Data Science команд может воистину революционно поднять качество работы и применимость итогового решения для бизнеса.
Вот тут в лекции есть также инсайты о том, как заставить нас с Димой сделать вам дизайн док.
На странице курса также доступны презентации и списки рекомендованных к прочтению материалов для каждой лекции.
Этим постом мы также поздравляем всех с публикацией всех лекций курса! 🥳
Вышли на финишную прямую и защиту проекта!
С Наступающим Новым Годом! 🎄🥂
Ваш @Reliable ML
#business #tech #ml_system_design
🔥24❤4🎉1
С Наступающим Новым Годом! 🎄🥂
Дорогие друзья, спасибо, что были с нами весь этот непростой год!
Многое, кажется, в нем получилось:
- Мы выросли с 450 до 2750 подписчиков! Спасибо, что вы с нами. Мы очень стараемся делать канал интересным и полезным. Ваши отзывы и пожелания также всегда очень интересно читать!
- Организовали секцию Reliable ML на Data Fest 2022.
- Сделали открытый курс по ML System Design.
- Опубликовали в открытый доступ шаблон ML System Design документа.
- Замутили митап по АБ-тестированию и Causal Inference.
- Написали на Хабр несколько статей по интерпретируемости и причинно-следственному анализу.
- Создали хаб Reliable ML на ODS.ai, где можно найти информацию обо всем этом (почти).
Пусть следующий год будет лучше!
Вместе мы сила!
Успехов вам в новом году!
Ваш @Reliable ML
Дорогие друзья, спасибо, что были с нами весь этот непростой год!
Многое, кажется, в нем получилось:
- Мы выросли с 450 до 2750 подписчиков! Спасибо, что вы с нами. Мы очень стараемся делать канал интересным и полезным. Ваши отзывы и пожелания также всегда очень интересно читать!
- Организовали секцию Reliable ML на Data Fest 2022.
- Сделали открытый курс по ML System Design.
- Опубликовали в открытый доступ шаблон ML System Design документа.
- Замутили митап по АБ-тестированию и Causal Inference.
- Написали на Хабр несколько статей по интерпретируемости и причинно-следственному анализу.
- Создали хаб Reliable ML на ODS.ai, где можно найти информацию обо всем этом (почти).
Пусть следующий год будет лучше!
Вместе мы сила!
Успехов вам в новом году!
Ваш @Reliable ML
🎉28👍10🔥6🎄4❤1
АБ-тесты. Экстраполяция результатов пилота
Цикл постов про АБ-тестирование. Пост 8
За предыдущие 7 постов мы закрыли почти все ключевые риски бизнес-процесса АБ-тестирования. Но остался один важный риск, с которым мы еще не разобрались. Это отсутствие единой методики/правил экстраполяции результатов пилота для расчета финансового эффекта на все объекты.
Даже если у нас отлажены процессы дизайна и пилотирования, создана база пилотов и выработана супер корректная статистическая методика расчетов на основе последних практик, финальное решение об инвестициях в проект может оказаться некорректным, если нет правил его масштабирования на всю сеть.
Например, вы получили +1% к выручке на 5 объектах. Можем ли сказать, что при ролл-ауте проекта, для всей сети будет +1% к выручке? Была ли выборка репрезентативна для всей сети? Можем ли назвать результаты пилота робастными? Например, 5 объектов пилота могли быть расположены в Сибири, а основные объекты компании расположены в Центральных регионах.
В идеальном мире вопросы репрезентативности результатов для финальной экстраполяции результатов пилота и методика этого этапа определяются бизнесом совместно с финансовой службой еще на этапе планирования пилота. Именно эти участники процесса АБ обладают наибольшей экспертизой, чтобы определить репрезентативные параметры пилота:
- даты проведения пилота. Период пилота должен иметь длительность, рекомендованную статистическими расчетами, но при этом учитывать последующее применение пилотируемого эксперимента. Например, оптимизацию промо-акции вида Х планируется применять только на сезонные летние товары, следовательно, пилотировать тоже лучше всего в этот период, а не зимой.
- характеристики объектов в пилот и контроль. Стоит учитывать планируемую экстраполяцию результата:
(1) территориально. Если при успехе пилота, его сразу планируется “раскатать” на все объекты, тогда можно математически подобрать репрезентативную группу для всего распределения объектов. Если же планируется поэтапное внедрение (например, сначала все объекты одного региона/города, потом группы регионов), значит для первого пилота подойдут объекты, отражающие специфику конкретного города или региона.
(2) по внутренним показателям объектов (фин. и опер. индикаторы, и др.). Проект может быть направлен на убыточные объекты компании. Значит, и пилотировать его надо на них, и контроли смотреть уж точно не прибыльные.
целевые метрики пилота. Аналогично, если успехом при внедрении проекта для нас будет положительное влияние на маржу при отсутствии отрицательного влияния на совокупные продажи, значит, обе эти метрики должны присутствовать в гипотезах пилота именно в такой постановке. А если планируем эффект на пару категорий продаж, то проверять стоит на них, а не на тотал продажах.
- содержание и механика пилота. Соответствуют ли они планам по внедрению проекта, в случае успеха? Например, если управленчески работа с ценообразованием в магазинах возможна только на уровне целых городов, то, вероятно, не стоит делать выводы об успешности проекта в этой области, проведенного на гранулярности пары отдельных объектов.
Некоторые из вопросов выше могут показаться очевидными. Но на этапах дизайна пилота и финальной экстраполяции результатов пилота иметь это ввиду нужно, и задавать об этом вопросы тоже - если есть сомнения в соответствии пилота и его планируемой применимости в бизнес-процессах компании. Поверьте большому опыту практического АБ за плечами. Очевидное и невероятное всегда где-то рядом 🙂
Если все моменты выше были учтены на этапе дизайна эксперимента, то вопросы робастности результата и возможности его экстраполяции на объекты ролл-аута перестают быть актуальными. Статистически корректная методика (которую мы уже рассмотрели в предыдущих постах) гарантирует нам робастность и корректность экстраполяции результата, если пилот продуман с точки зрения содержательной постановки (бизнес-применения).
#tech #ab_testing
Цикл постов про АБ-тестирование. Пост 8
За предыдущие 7 постов мы закрыли почти все ключевые риски бизнес-процесса АБ-тестирования. Но остался один важный риск, с которым мы еще не разобрались. Это отсутствие единой методики/правил экстраполяции результатов пилота для расчета финансового эффекта на все объекты.
Даже если у нас отлажены процессы дизайна и пилотирования, создана база пилотов и выработана супер корректная статистическая методика расчетов на основе последних практик, финальное решение об инвестициях в проект может оказаться некорректным, если нет правил его масштабирования на всю сеть.
Например, вы получили +1% к выручке на 5 объектах. Можем ли сказать, что при ролл-ауте проекта, для всей сети будет +1% к выручке? Была ли выборка репрезентативна для всей сети? Можем ли назвать результаты пилота робастными? Например, 5 объектов пилота могли быть расположены в Сибири, а основные объекты компании расположены в Центральных регионах.
В идеальном мире вопросы репрезентативности результатов для финальной экстраполяции результатов пилота и методика этого этапа определяются бизнесом совместно с финансовой службой еще на этапе планирования пилота. Именно эти участники процесса АБ обладают наибольшей экспертизой, чтобы определить репрезентативные параметры пилота:
- даты проведения пилота. Период пилота должен иметь длительность, рекомендованную статистическими расчетами, но при этом учитывать последующее применение пилотируемого эксперимента. Например, оптимизацию промо-акции вида Х планируется применять только на сезонные летние товары, следовательно, пилотировать тоже лучше всего в этот период, а не зимой.
- характеристики объектов в пилот и контроль. Стоит учитывать планируемую экстраполяцию результата:
(1) территориально. Если при успехе пилота, его сразу планируется “раскатать” на все объекты, тогда можно математически подобрать репрезентативную группу для всего распределения объектов. Если же планируется поэтапное внедрение (например, сначала все объекты одного региона/города, потом группы регионов), значит для первого пилота подойдут объекты, отражающие специфику конкретного города или региона.
(2) по внутренним показателям объектов (фин. и опер. индикаторы, и др.). Проект может быть направлен на убыточные объекты компании. Значит, и пилотировать его надо на них, и контроли смотреть уж точно не прибыльные.
целевые метрики пилота. Аналогично, если успехом при внедрении проекта для нас будет положительное влияние на маржу при отсутствии отрицательного влияния на совокупные продажи, значит, обе эти метрики должны присутствовать в гипотезах пилота именно в такой постановке. А если планируем эффект на пару категорий продаж, то проверять стоит на них, а не на тотал продажах.
- содержание и механика пилота. Соответствуют ли они планам по внедрению проекта, в случае успеха? Например, если управленчески работа с ценообразованием в магазинах возможна только на уровне целых городов, то, вероятно, не стоит делать выводы об успешности проекта в этой области, проведенного на гранулярности пары отдельных объектов.
Некоторые из вопросов выше могут показаться очевидными. Но на этапах дизайна пилота и финальной экстраполяции результатов пилота иметь это ввиду нужно, и задавать об этом вопросы тоже - если есть сомнения в соответствии пилота и его планируемой применимости в бизнес-процессах компании. Поверьте большому опыту практического АБ за плечами. Очевидное и невероятное всегда где-то рядом 🙂
Если все моменты выше были учтены на этапе дизайна эксперимента, то вопросы робастности результата и возможности его экстраполяции на объекты ролл-аута перестают быть актуальными. Статистически корректная методика (которую мы уже рассмотрели в предыдущих постах) гарантирует нам робастность и корректность экстраполяции результата, если пилот продуман с точки зрения содержательной постановки (бизнес-применения).
#tech #ab_testing
👍11❤1🔥1
Reliable ML AB Testing & Causal Inference Meetup
Видео и презентации докладов
Опубликованы видео и презентации докладов нашего декабрьского митапа по АБ тестам и причинно-следственному анализу.
Все доклады, их описания и презентации можно найти на сайте ODS.ai, а также в плейлисте на YouTube.
Ссылки отдельно по докладам:
- Ваагн Минасян - Оценки с двойной надёжностью для выявления причинно-следственных связей в бизнесе (видео, презентация)
- Дмитрий Васькин - Synthetic Control для AB тестов на малых размерах выборок (видео, презентация)
- Аслан Байрамкулов - Ambrosia - open-source библиотека для быстрой и удобной работы с A/B тестами (видео, презентация)
- Артем Ерохин - Balancing Methods in Causal Inference (видео, презентация)
- Александр Сахнов - Парный, пуассоновский и дикий бутстреп (видео, презентация)
- Валерий Бабушкин - Метрики: от офлайна до иерархии (видео, презентация)
- Григорий Чернов - Causal Discovery Methods for Experimental Design (видео, презентация)
- Дмитрий Торшин - Causal Impact и как его готовить (видео, презентация)
- Максим Кочуров - Планирование Байесовских АБ тестов (видео, презентация)
Ваш @Reliable ML
#tech #ab_testing #causal_inference
Видео и презентации докладов
Опубликованы видео и презентации докладов нашего декабрьского митапа по АБ тестам и причинно-следственному анализу.
Все доклады, их описания и презентации можно найти на сайте ODS.ai, а также в плейлисте на YouTube.
Ссылки отдельно по докладам:
- Ваагн Минасян - Оценки с двойной надёжностью для выявления причинно-следственных связей в бизнесе (видео, презентация)
- Дмитрий Васькин - Synthetic Control для AB тестов на малых размерах выборок (видео, презентация)
- Аслан Байрамкулов - Ambrosia - open-source библиотека для быстрой и удобной работы с A/B тестами (видео, презентация)
- Артем Ерохин - Balancing Methods in Causal Inference (видео, презентация)
- Александр Сахнов - Парный, пуассоновский и дикий бутстреп (видео, презентация)
- Валерий Бабушкин - Метрики: от офлайна до иерархии (видео, презентация)
- Григорий Чернов - Causal Discovery Methods for Experimental Design (видео, презентация)
- Дмитрий Торшин - Causal Impact и как его готовить (видео, презентация)
- Максим Кочуров - Планирование Байесовских АБ тестов (видео, презентация)
Ваш @Reliable ML
#tech #ab_testing #causal_inference
🎉26👍11❤10🔥1
Интерпретируемость ML-моделей: от инструментов до потребностей пользователя
Новая статья на Хабре
Опубликовали с Димой статью на Хабре - на основе постов в канале от осени 2022 г. Может быть интересно как новым участникам канала, так и тем, кому интересно прочитать все системно вместе, а не отдельными постами.
Интерпретируемость ML-моделей - очень широкая концепция. То, насколько интерпретация хороша, зависит не только от инструментов и отчетов, которые мы предоставляем пользователю, но и от потребностей пользователя и особенностей задач, которые он решает.
В статье разберемся, как эффективно работать с интерпретируемостью ML-моделей в зависимости от потребностей ключевых пользователей.
Лайк, шер, репост, конечно же! Всем добра! 🌹
Ваш @Reliable ML
https://habr.com/ru/post/709688/
Новая статья на Хабре
Опубликовали с Димой статью на Хабре - на основе постов в канале от осени 2022 г. Может быть интересно как новым участникам канала, так и тем, кому интересно прочитать все системно вместе, а не отдельными постами.
Интерпретируемость ML-моделей - очень широкая концепция. То, насколько интерпретация хороша, зависит не только от инструментов и отчетов, которые мы предоставляем пользователю, но и от потребностей пользователя и особенностей задач, которые он решает.
В статье разберемся, как эффективно работать с интерпретируемостью ML-моделей в зависимости от потребностей ключевых пользователей.
Лайк, шер, репост, конечно же! Всем добра! 🌹
Ваш @Reliable ML
https://habr.com/ru/post/709688/
Хабр
Интерпретируемость ML-моделей: от инструментов до потребностей пользователя
Интерпретируемость ML-моделей - очень широкая концепция. То, насколько интерпретация хороша, зависит не только от инструментов и отчетов, которые мы предоставляем пользователю, но и от потребностей...
👍28🔥2❤1
Mathshub - Бесплатный интенсив по SQL
Старт 30 января
Мы уже рассказывали вам об Айре Монгуш и ее проекте Mathshub.
Помимо коммерческих курсов команда Айры периодически делает классные бесплатные мероприятия.
Например, 30 января стартует бесплатный интенсив по основам SQL.
Преподаватель - Любовь Цурикова (Билайн, Association Maison Russe, МИФИ). В курсе за 3 недели будут рассмотрены основы SQL, создания баз данных, работе с базами данных и формированию запросов для поиска информации.
Регистрация тут.
#tech
Старт 30 января
Мы уже рассказывали вам об Айре Монгуш и ее проекте Mathshub.
Помимо коммерческих курсов команда Айры периодически делает классные бесплатные мероприятия.
Например, 30 января стартует бесплатный интенсив по основам SQL.
Преподаватель - Любовь Цурикова (Билайн, Association Maison Russe, МИФИ). В курсе за 3 недели будут рассмотрены основы SQL, создания баз данных, работе с базами данных и формированию запросов для поиска информации.
Регистрация тут.
#tech
👍5❤1🔥1