Data Fest 3.0 - Открыта регистрация

Встречайте — Data Fest Online 3.0.
Долгожданная регистрация открыта!

Уже в эту субботу начнётся трехнедельный онлайн Фест, по уже сложившейся формуле youtube + spatial.chat.

В субботу, 4 июня, в эфире организаторы Data Fest 3.0 расскажут про секции Reliable ML, NLP, RecSys, PyData + MLOps, DL in Finance, ML Trainings и другие.

В эфире 4 июня организаторы ODS также расскажут обо всех самых важных вопросы про новый ODS:

- Как устроен новый ODS + backstage про ODS текущий
- Как будет проходить переезд, что это вообще за [Matrix], и как первыми туда попасть
- Как участвовать в новом ODS
… а также планы, новые фишки, и многое другое.

Далее, с 5 июня в течение 3х недель будут проводиться различные тематические секции Data Fest 3.0.

Всех ждем!

Data Fest 3.0 - Reliable ML - 5 июня 2022 г. - Программа
Продолжаем анонсы

В 11:30 по Мск выступит Наталья Тоганова, к.э.н, старший бизнес-аналитик Glowbyte, с докладом "Что такое p-value? Достаточно ли одного показателя? При чем тут мощность и доверительные интервалы?".

Рандомизированные контролируемые эксперименты или А/Б тесты хотя и называются "золотым стандартом", но все же методика их проведения и интерпретации остаётся дискуссионной. Наталья расскажет о том:

- почему практика, когда повышенное внимание уделяется p-value, и тому, был преодолел ли p-value определенный порог, подвергаются критике;
- как предлагают исправить ситуацию и чем дополнить p-value (немного о мощности и доверительных интервалах);
- как научная дискуссия связана с буднями обычного аналитика.

Регистрация на Data Fest 3.0 - тут.

Опять статья?!

Между анонсами докладов и мероприятий секции Reliable ML мы продолжаем рубрику "Что бывает, если оказаться в длительной поездке в поезде без детей" и публикуем третью статью на Хабр по мотивам постов в канале - Причинно-следственный анализ в машинном обучении: итоги 2021 г.

Статьи цикла "Ирина и поезд" будут наиболее интересны недавно подключившимся участникам нашего канала - чтобы в структурированном виде изучить материалы, публиковавшиеся в канале с конца 2021 г.:

- Причинно-следственный анализ в машинном обучении
- Причинно-следственный анализ в машинном обучении: итоги 2021 г.
- Интерпретируемость в машинном обучении: итоги 2021 г.

Data Fest 3.0 - Reliable ML - 5 июня 2022 г. - Программа
Продолжаем анонсы

В 15:00 по Мск состоится доклад "Что нового в интерпретируемости ML-моделей" от Дмитрия Колодезева, директора Promsoft.

В своем выступлении Дмитрий расскажет об интересных подходах к работе с интерпретирумостью, новинках регулирования, сделает короткий обзор базовых техник и современных инструментов интерпретации ML-моделей, и перескажет своими словами абстракт наиболее запомнившихся статей этой весны.

Регистрация на Data Fest 3.0 - тут.

Data Fest 3.0 - Reliable ML - 5 июня 2022 г. - Программа
Продолжаем анонсы

В 15:45 по Мск Вадим Борисов, Research Fellow / Ph.D. Student, University of Tübingen, Germany, расскажет доклад "Evaluation of Local Explanations. Current Approaches, Trends and Issues".

В последние годы с развитием направления eXplainable Artificial Intelligence (XAI) было представлено множество алгоритмов для локальной интерпретации ML-моделей. Одна из главных проблем заключается в том, что “эталонное” локальное объяснение не доступно, и как следствие - сравнение точности алгоритмов интерпретаций становится затруднительным. В связи с этим было предложено множество методов для определения правдоподобности локальных интерпретаций.

Доклад Вадима Борисова будет посвящен современным способам эмпирического сравнение алгоритмов интерпретации и их проблемам. Будут рассмотрены основные методы и представлены их достоинства и недостатки, а также озвучены направления для дальнейшего исследования.

Регистрация на Data Fest - тут.

Data Fest 3.0 - Reliable ML - 5 июня 2022 г. - Полная Программа

В это воскресенье с 10:00 до 20:00 по Мск ждем всех в spatial chat на секцию Reliable ML!

Полная программа с анонсами всех докладов и круглых столов опубликована на странице трека.

Напоминаем про возможность задать вопросы экспертам на круглых столах:

- Форма для вопросов по Causal Inference in ML
- Форма для вопросов по Interpretable ML
- Форма для вопросов по ML System Design

Регистрация на Data Fest - тут.

Data Fest 3.0 - Начинаем!

С минуты на минуту начинается онлайн-трансляция Data Fest.

Сегодня день анонсов разных секций и рассказов о том, что же будет дальше со слаком и ODS.

Программу и трансляцию можно найти по ссылке.

Поключайтесь!

Секция Reliable ML - Data Fest 3.0 - Ждем всех к 10:00

Допиваем кофе и в 10:00 по Мск стартуем нашу секцию!
К нам можно присоединиться через спатиал.чат (инструкция), или просто смотреть трансляцию на youtube.
В спатиале нужно найти комнату Reliable ML, а там уже все свои)

Reliable ML - Пост для вопросов 5 июня 2022 г.

В комментариях к этому посту сегодня можно задавать вопросы докладчикам и экспертам круглых столов.

Итого, текстом вопросы можно задать:

- в spatial.chat (лучше всего)
- в комментах к этому посту
- в трансляции на youtube

Еще мега-вариант - написать в spatial.chat организаторам (Ирина Голощапова, Дмитрий Колодезев), что вы хотели бы задать свой вопрос докладчику, выйдя на сцену, и тогда мы вас подключим после доклада.

Reliable ML - Data Fest 3.0 - Мы сделали это!

Вчера с 10 утра и почти до 8 вечера нон-стоп шла трансляция нашей секции Reliable ML.
Огромное спасибо всем спикерам, экспертам круглых столов и участникам! 🥳
Отличные доклады, детальные вопросы, крутая дискуссия.
Мы очень старались сделать мероприятие интересным и надеемся, что у нас получилось.

Для тех, кто вчера не успел присоединиться, доступна полная запись трансляции.
Презентации спикеров - по мере получения - пока будем выкладывать в комментариях к этому посту. Далее добавим их на страницу трека - вместе с отдельными видео докладов (с хорошим звуком 😄).

Где внедрение ML даст наибольшую отдачу?

На секции Reliable ML 5 июня было много технических дискуссий. Давайте немного переключимся и обсудим бизнес-аспекты этой концепции.

Инвестируя в построение продвинутой аналитики, компании сталкиваются с проблемой выбора направления развития. Необходимо учесть не только уровень и масштаб самой компании, но и специфику рынка и уровень погружения компании в технологии.

Концепция Reliable ML предлагает начать с составления карты возможных инициатив (списка всех возможных направлений для инвестиций). Для этого предлагается проанализировать международный и отраслевой опыт и провести интервью с подразделениями компании, заинтересованными во внедрении продвинутой аналитики. По каждой инициативе желательно понимать: цель, ожидаемый результат, необходимый состав данных, функционал итогового решения, регулярность обновления результата и требования к актуальности данных, ожидаемые эффект и издержки, приоритет задачи от бизнеса, а также ожидаемые сроки реализации MVP и, верхнеуровнево, дальнейшей продуктивизации.

На основе карты возможных инициатив мы можем ранжировать возможные инвестиции, используя набор универсальных критериев. Это может быть скоринг, в котором конкретные веса задаются с учетом специфики компании, либо общее понимание возможных направлений развития.

Ключевые принципы ранжирования

Actionable:
- Сложность реализации инициативы средствами ML/DS
- Применимость инициативы для текущих бизнес-процессов

Measurable:
- Возможность проведения пилотного эксперимента для тестирования данной инициативы и корректной оценки ее эффекта на ключевые бизнес-показатели компании

Impact:
- Возможность рассчитать ожидаемый эффект от внедрения инициативы на ключевые бизнес-показатели компании
- Является ли ожидаемый эффект материальным с точки зрения PnL компании
- Является ли ожидаемый эффект достижимым в ближайшие 12 месяцев (Quick-Wins First)

Business Priority:
- Оценка приоритетности выполнения инициативы со стороны вовлеченных во внедрение инициативы бизнес-подразделений

Positive Business Case:
- Превышает ли ожидаемый эффект от реализации инициативы затраты на проект
- Инициатива может быть встроена в бизнес-процессы в ближайшие 12 месяцев (Quick-Wins First)

#business #planning

#business #planning

Страница трека Reliable ML для Data Fest 3.0 полностью оформлена

На странице трека для каждого доклада добавлены:

- Видео доклада с хорошим звуком
- Презентация
- Видео обсуждения доклада

Список докладов:

1. П. Окунева. Causal Inference. Advanced методы моделирования.
2. Е. Кобылкин, И. Комаров, Г. Соснин. Эффективны ли вакцины?
3. Н. Тоганова. Что такое p-value? Достаточно ли одного показателя? Причем тут мощность и доверительные интервалы?
4. В. Сизов, А. Григорьева. От look-alike до uplift в моделях для жизненного цикла клиента.
5. Г. Чернов. Intro in structural learning and causal discovery.
6. И. Комаров, Г. Чернов, И. Горбань, Д. Колодезев, И. Голощапова. Круглый стол. Causal Inference in ML.
7. Д. Колодезев. Что нового в интерпретируемости ML-моделей.
8. В. Борисов. Сравнение алгоритмов интерпретации.
9. К. Быков, Д. Савенков, В. Борисов, Д. Колодезев, И. Голощапова. Круглый стол. Interpretable ML.
10. В. Бабушкин, А. Натекин, А. Бородин, Д. Колодезев, И. Голощапова. Круглый стол. ML System Design

Разбор статьи от автора - DORA: Exploring outlier representations in Deep Neural Networks

Недавно в arxiv была опубликована статья по проблеме обнаружения аномальных репрезентаций в предобученных нейронных сетях. Кирилл Быков, PhD student в TU Berlin – Understandable Machine Intelligence Lab, участник нашего недавнего круглого стола по Interpretable ML, соавтор статьи, рассказал о главных выводах исследования:

"Популярность и эффективность глубоких нейронных сетей обусловлена их способностью к обучению сложных высокоуровневых абстракций. Последние исследования показывают, что достаточно часто на практике нейронные сети склонны к выучиванию различных артефактов и вредоносных стереотипов из-за пагубных корреляций, присущих обучающей выборке, что в дальнейшем может привести к ошибкам в работе алгоритма. В статье представляется первый автоматический метод для диагностики нейронных сетей для обнаружения потенциально "зараженных" репрезентаций в глубоких нейронных сетях – DORA (Data-agnOstic Representation Analysis). Зараженные репрезентации, найденные с помощью DORA, могут быть использованы для выявления зараженных данных — например с последующим удалением из обучающей выборки и ре-тренировкой сети.

Метод основан на идее "самообъяснения" нейронных сетей путем извлечения семантической информации, содержащейся в синтетических сигналах, которые максимально активизируют репрезентации(s-AMS), и дальнейшего использования этой информации для выявления аномальных (и потенциально зараженных) репрезентаций.

В статье демонстрируется проблема репрезентаций-детекторов-водяных знаков в популярных предобученных сетях на ImageNet, и впервые идентифицируются, в каких конкретно репрезентациях этот эффект изолирован. Дополнительно демонстрируется, что даже после finetuning'а предобученных сетей этот эффект может оставаться, что может быть опасно при использовании таких сетей в critical-safety областях, таких как медицина.

В качестве метрики "инфицированности" репрезентаций вредными абстракциями используется метрика AUC ROC для задачи бинарной классификации между изображениями с и без добавленным на изображения артефактом — например, латинскими или китайскими водяными знаками. Так, в статье показано, что DORA хорошо справляется с детектированием подобных "инфицированных" репрезентаций.

DORA делает первый шаг к автоматическому анализу репрезентаций в глубоких нейронных сетях — в эпоху large-scale моделей, локальных методов объяснения (отвечающие на вопрос о том, почему было принято решение на конкретном примере) может быть недостаточно, чтобы полностью понять механизм принятия решений. Так, в статье DORA применяется к CLIP — популярной модели от OpenAI для генерации описания изображений. Удалось автоматически выявить репрезентации, отвечающие за распознавание порнографического контента, наркотиков, агрессии и др."

Ссылка на статью: https://arxiv.org/abs/2206.04530
Гитхаб: https://github.com/lapalap/dora

#tech #interpretable_ml

Разбор статьи от автора - DORA: Exploring outlier representations in Deep Neural Networks

Обнаружение аномальных репрезентаций в ResNet18, предобученной на ImageNet. DORA автоматически обнаруживает потенциально инфицированные нейроны (154, 314) — детекторы китайских водяных знаков. Соответствующие синтетические сигналы, активизирующие найденные репрезентации (и их ближайших соседей в пространстве репрезентаций) показаны в центре. Справа показана мера "инфицированности" нейронов в задаче бинарной классификации изображений с и без добавленных водяных знаков, где показатели представлены в виде ROC-кривых. Нейрон 154, найденный DORA, демонстрирует самое высокое значение AUC (зеленая кривая), за ним следуют его ближайшие соседи.

Ссылка на статью: https://arxiv.org/abs/2206.04530
Гитхаб: https://github.com/lapalap/dora

#tech #interpretable_ml

Интерпретируемость ML-моделей: каждому свое
Даешь каждому пользователю по интерпретации!

Интерпретируемость ML-моделей - очень широкая концепция. То, насколько интерпретация хороша, зависит не только от инструментов и отчетов, которые мы предоставляем пользователю, но и от потребностей пользователя и особенности задач, которые он решает.

Типичные пользователи ML-продукта:

- Заказчик ML-решения. Оплачивает банкет разработку ML-продукта. Главная цель - финансовый результат внедрения ML-модели. Хотел бы доверять результату работы модели и избежать неприемлемого ущерба в случае ошибки в работе модели.

- Исполнитель/разработчик ML-решения. Команда data scientist-ов, непосредственно занимающаяся исследованиями и разработкой решения. Используют техники интерпретируемости во время работы над моделью, чтобы улучшить ее качество (целевые метрики).

- Gatekeeper. Тот, кто отвечает за качество внедряемых моделей. В маленьких компаниях это может быть владелец продукта, в большой - комитет по качеству моделей, группа по анализу рисков, группа валидации моделей. Для него важны: устойчивость решения, соответствие модели требованиям пользователя и заказчика.

- Пользователь ML-решения. Непосредственно использует или поддерживает работу модели в бизнес-процессах компании. Хотел бы понимать границы применимости модели. Нуждается в способе определить, что модель "занесло", и в инструкциях - что делать в этом случае.

В качестве примера можно рассмотреть разработку системы по извлечению коммерческой информации из сканов документов. Система распознает сканы, ищет цены на кабель, определяет марку кабеля, цену, поставщика, производителя, сохраняет в базу данных и предоставляет API для нечеткого поиска по товарной номенклатуре.

Заказчику важно знать, что модель сокращает трудозатраты примерно в 10 раз при том же количестве ошибок. Финансовый результат оценивается по статистике работы менеджеров, использующих новую систему. Перед запуском системы в работу он вместе с командой разобрал 10 самых лучших и 10 самых худших примеров, дал обратную связь и спокойно пошел руководить дальше.

Исполнителю/разработчику ML-решения хочется выкрутить качество побольше. Ему интересно - куда крутить. Тепловые карты картинок с ошибками, визуализация attention нейронной сети - важнейшие инструменты в его работе над моделью.

Руководителю разработки важно понимать, что успех модели неслучаен. Его беспокоит дисперсия качества модели на кросс-валидации. Он опасается, что модель могла обучиться на случайных совпадениях в данных. Ему интересно внимательно посмотреть на топ-10 признаков модели на предмет "физичности" и непротиворечивости требованиям бизнес-заказчика.

Пользователю ML-решения важно знать, что модель часто путает отдельные символы в тексте (например, G и 6) и от этого могут случиться проблемы.

#interpretable_ml #business

Интерпретируемость ML моделей для конечного пользователя: где нужна на практике и что делать
Где нужна на практике

Мы недавно рассмотрели ключевых пользователей интерпретации ML-моделей и различия в их потребностях в интерпретации.

На практике - и в рамках концепции Reliable ML - ключевой целью работы над моделью является ее итоговое применение в бизнес-процессах и финансовая польза от этого применения. Следовательно, ключевыми целями интерпретации являются цели бизнес-заказчика (финансовая польза) и пользователя ML-решения (корректное применение в бизнес-процессе).

При этом чаще всего и бизнес-заказчик и пользователь ML-решения формулируют требования и участвуют в приемке решения совместно, поэтому для простоты в некоторой литературе их называют конечными пользователями модели.

В каких блоках цикла управления продуктом продвинутой аналитики интерпретируемость моделей машинного обучения для конечного пользователя вашей модели становится важной? Поделимся своим видением.

В отдельных случаях критично думать об интерпретируемости уже на этапе разработки MVP. Особенно, когда нужно «продать» ваше решение конечному пользователю, или при очень высокой цене ошибки, когда без интерпретируемости моделей бизнес не готов идти даже на проведение пилота.

Но наиболее важное значение интерпретируемость имеет на этапах внедрения решения и мониторинга модельного риска. То есть, понятность модели конечным пользователям приобретает критическое значение именно тогда, когда модель доказала свою эффективность по итогам пилотного эксперимента и было принято решение о ролл-ауте (масштабировании модели на все целевые объекты).

Что именно становится важным?

- Доверие к результату. Принятие решений моделью должно быть понятно бизнесу как в целом (global interpretation), так и на отдельных примерах (local interpretation).

В случае низкого доверия к работе модели и к её логике принятия решений (модель позиционируется или воспринимается как черный ящик) сильно возрастают трудности с интеграцией модели в бизнес-процесс и обучением конечных пользователей ее использованию. Попросту говоря, моделью не хотят пользоваться, нарушают рекомендации, а если что-то идет не так, то виновата всегда модель. Особенно, если решение о ее ролл-ауте в итоге было принято сверху.

И наоборот, высокое доверие к модели способствует ее корректному применению и эффективной и быстрой интеграции в бизнес-процессы.

- Применимость модели в реальных условиях. Реальные условия, в которых работает модель, всегда так или иначе отличаются от тех, на которых она строилась. Кажется, что это уже ни для кого не секрет на фоне большого числа форс-мажорных событий последних лет.

Понятность модели конечному пользователю в продуктиве – как модель пришла к конкретному результату (данные, факторы, логика работы, итоговый прогноз/рекомендация) – снижает риск некорректного применения модели на новых данных, при сложных кейсах, в меняющейся среде. В случае аномального поведения модели человек, которому понятна модель, с большей вероятностью исправит или предотвратит неправильное решение. Митигации риска аномального поведения модели с технической стороны также очень помогают системы мониторинга модельного риска. О них мы поговорим в отдельных постах.

- Информативность для бизнес-процесса. Конечному пользователю должно быть понятно, что делать при виде результата работы модели. Именно это называют информативностью. То есть, для работы в боевых условиях чаще всего критически важно, чтобы результат работы был не просто красивыми сведениями, а содержал конкретную рекомендацию к действию (push to action).

#interpretable_ml #business

Картинка к посту.
Наиболее важное значение интерпретируемость имеет на этапах внедрения решения и мониторинга модельного риска. В отдельных случаях критично думать об интерпретируемости уже на этапе разработки MVP.

#interpretable_ml #business

Интерпретируемость ML моделей для конечного пользователя: где нужна на практике и что делать
Что делать. Часть 1

В предыдущем посте мы разобрали, где на практике бывает нужна интерпретируемость моделей для конечного пользователя.

А теперь на каком-то примере из жизни подумаем, что можно сделать со всеми этими потребностями.

Давайте представим, что вы строите систему оптимизации ассортимента для магазинов крупной торговой сети. Результат работы вашей модели в первом приближении – это оптимальная матрица товаров для каждого магазина, или ассортиментная матрица. Конечный пользователь модели – категорийные менеджеры, управляющие жизненным циклом отдельных категорий товаров (КМ, пользователи ML-решения), и их руководство (бизнес-заказчик ML-решения).

Чаще всего, в первом приближении ваша модель машинного обучения для них – это черный ящик.

Как повысить доверие к результату?

Объяснить КМ логику работы моделей прогноза спроса, которые стоят в основе вашего решения. Наиболее популярные на практике методы global и local интерпретации моделей – это SHAP для алгоритмов на табличных данных и Grad-CAM для глубокого обучения.

Повышению доверия к модели на практике также сильно помогает возможность для конечного пользователя самому создавать локальные прогнозы спроса для отдельных товаров и видеть результат и его объяснение (возможность «потрогать инструмент руками»).

Все это хорошо, скажете вы. Но это про спрос на отдельные товары, а как объяснить КМ, почему модель в итоге предлагает именно такую комбинацию товаров для каждого магазина, а не другую? Как объяснить саму оптимизацию?

Каких-либо инструментов interpretable ml, объясняющих как модель пришла к оптимальному результату в пространстве возможных решений, пока нет. Но не все потеряно. На практике вам может помочь та же самая возможность «потрогать руками». Если дать возможность конечному пользователю вручную менять комбинации товаров для магазина на свое усмотрение и смотреть на прогноз совокупного спроса (или выигрыша относительно текущей ситуации), это значительно повышает его доверие ко всей системе в целом. Если у вас реализована и первая часть – возможность «провалиться» в прогноз и интерпретацию прогноза отдельных товаров, то это почти победа.

Как усилить применимость модели в реальных условиях?

Реализация пункта «доверие к результату» уже положительно влияет на применимость модели в реальных условиях. КМ, неуверенный в итоговых результатах работы модели сможет посмотреть отдельные прогнозы, попробовать другие варианты и принять финальное решение. Поскольку – особенно в случае моделей с длинным горизонтом принятия решения – у человека чаще всего больше контекста о бизнес-процессах, чем в данных, используемых моделью (события, связанные с политикой компании, форс-мажорными обстоятельствами, планируемые изменения инфраструктуры рядом с объектами сети и др.).

Усилить применимость модели в реальных условиях в случае модели оптимизации ассортимента может также помочь добавление доверительных интервалов прогноза для каждого товара. В таком случае у КМ будет возможность видеть уверенность модели в своем финальном решении. По сути, сетка рекомендаций будет подсвечена с точки зрения качества прогноза отдельных сегментов товаров. Тогда внимание конечного пользователя в среднем будет сконцентрировано именно на сложных кейсах.

#interpretable_ml #business

Интерпретируемость ML моделей для конечного пользователя: где нужна на практике и что делать
Что делать. Часть 2 (Часть 1 тут)

Как сделать результат информативным?

Если результат работы системы оптимизации ассортимента – это финальная рекомендуемая товарная матрица магазина, такой результат вряд ли можно будет назвать информативным для категорийных менеджеров сети. В таком результате нет push to action.

Рекомендацию к действию создать достаточно просто. Что нужно будет делать КМ для внедрения оптимальной ассортиментной матрицы в жизнь? Менять предшествующую матрицу. Часть товаров вывезти, часть привезти вместо них, часть ввести новых, часть оставить, как есть. Если итоговый результат работы модели рассказывает, что нужно сделать, чтобы превратить текущую товарную матрицу в оптимальную и зачем (какой будет денежный выигрыш от этого изменения), то в таком выводе ML-модели уже содержится вполне явный push to action. И ее интеграция в бизнес-процесс будет намного более быстрой.

Об основных аспектах интерпретируемости с примерами из научных статей и своей практики мы рассказывали на Data Fest 2019 г. Вот тут можно посмотреть доклад.

#interpretable_ml #business

По мотивам серии постов про интерпретируемость ML-моделей (1, 2, 3, 4) предлагаем обсудить кейсы/трудности/примеры, с которыми сталкивались на практике читатели нашего канала. Welcome в комментарии!
#interpretable_ml #business