На что обратить внимание при работе с асессорами? ⚠️

При разработке ML/AI решений мы можем столкнуться со следующей проблемой: мы хотим протестировать наш алгоритм, но по каким-то причинам мы не можем его тестировать на реальных пользователях. В таких ситуациях ML-команды прибегают к помощи асессоров.

Асессор — человек, который привлекается для независимой оценки качества работы алгоритма.

Мы показываем результат работы нашего алгоритма асессорам и просим их оценить, как хорошо справилась наша модель. Это могут быть как оценки по шкале от 0 до 10, так и бинарная оценка: алгоритм задачу решил/не решил.

Несмотря на простоту идеи «Давайте просто спросим у людей, как хорошо справился наш алгоритм», при работе с асессорами надо обратить внимание на некоторые потенциальные подводные камни:

1. Качество подготовки асессоров 🎓
Асессоры должны чётко понимать, какой результат ожидается от модели. Асессорами должны быть либо профессионалы в области, в которой мы применяем алгоритм, либо мы должны подготовить обучающие материалы, чтобы после их изучения асессоры могли правильно оценивать работу нашего алгоритма.

2. Несогласованность оценок ⚖️
Асессоры — живые люди, и им свойственны субъективность и предвзятость. Нам нужно заранее определить алгоритм действий на тот случай, если для одного примера работы AI-модели разные асессоры будут давать разные оценки.

3. Борьба с недобросовестными асессорами 🕵️‍♂️
Обычно мы платим асессору фиксированную цену за каждый обработанный пример работы AI-алгоритма. Мы должны продумать методы борьбы с теми асессорами, которые будут проверять работу алгоритма недобросовестно, лишь бы заработать больше денег.

4. Безопасность 🔒
При работе с внешними асессорами мы должны убедиться, что к ним не попадают чувствительные данные.


__
Подписывайтесь: "Как приручить ИИ"

Если вы задумываетесь о том, что изучить, чтобы легко войти в мир машинного обучения, мы собрали для вас список бесплатных ресурсов по ML!

1 🎓 https://www.coursera.org/learn/ai-for-everyone - англоязычный курс для людей без технического бэкграунда от, пожалуй, самого известного преподавателя AI/ML в мире Andrew Ng.

2 💎 https://www.kdnuggets.com - крупнейший англоязычный портал по интеллектуальному анализу данных. На сайте публикуются новости отрасли, статьи.

3 📊 https://stepik.org/course/76/syllabus - один из лучших бесплатных русскоязычных курсов по статистике. Если пройдёте, то будете значительно лучше понимать как саму статистику в целом, так и то, как работают A/B тесты (а их очень любят спрашивать на собеседованиях).

4 🤖 https://www.youtube.com/@sim0nsays/playlists - русскоязычный онлайн-курс по нейронным сетям. Да, ему уже много лет, но понять основные идеи поможет.

5 📘 https://education.yandex.ru/handbook/ml - онлайн-учебник от Яндекса по основам ML. Можно читать главы в произвольном порядке в зависимости от текущих интересов.

6 🧪 https://ods.ai/tracks - страница с бесплатными курсами от ODS. ODS - крупнейшее в России сообщество по Data Science.

7 🔮 https://www.aiproductinstitute.com/blog - блог со статьями от AI Product Institute. Можно читать прогнозы о том, как будет меняться профессия AI Product Manager в будущем.

__
Подписывайтесь: "Как приручить ИИ"