Алексей Миловидов (Яндекс) будет жечь про отъявленные баги и как их избегать.

Версионирование дата-сетов и моделей машинного обучения, используя Open Source-инструменты / Дмитрий Петров (Iterative.ai) — Найроби + Касабланка.
Дмитрий начинает доклад.

Комментирует Иван Глушков

1 часть доклада - почему ML настолько “необычный”, почему не можем использовать стандартные подходы, которые применяются ко всей отрасли ПО.

Простите за качество фоток, очень странное освещение в зале

Основное отличие ML: гиперпараметры развиваются быстрее кода, эта информация - очень важна. Именно ею выделитесь с коллегами. И Excel - один из самых неплохих вариантов, бывают и хуже.

Второе отличие - нужно отслеживать метрики, нужно хранить метрики вместе с параметрами, их тоже надо пересылать и хранить.

Аналогично нужно хранить сами модели. Очень много моделей, чаще всего в имени хранится информация, например “model_v7_i1_zero_15”

Чуть лучше обстоит дело с датасетами, они реже меняются. Однако, они тоже меняются, и их тоже надо версионировать. Опять файлы, директории с разными названиями,

Код - тоже есть, не подумайте, и он тоже меняется. Но здесь все проще, git и стандартные практики.

Есть несколько решений.

1. MLFlow. Есть поддержка работы с гиперпараметрами, есть поддержка метрик, моделей. Автоматическая генерация таблиц с результатами. Это избавляет от большого количества ошибок, проблем с лишней тратой времени на одну и ту же работу.

Это покрывает часть проблем.

2. Git-LFS помогает решить проблему с данными.

Это расширение над git для работы с большими файлами. Можно сохранять большие картинки, датасеты. Работа как с обычным git.
Проблемы возникают на проектах, где общий размер > 2GB

Т.е. GitLFS покрывает часть проблем, но не все.

В крупных компаниях используются AI-платформы, которые покрывают все проблемы, но эти решения недоступны для маленьких компаний. Очень большую часть работы приходится делать руками, хотя нормальные решения позволяют автоматизировать шаги:
- выделить машины в облаке
- скопировать данные
- запустить
- скопировать результат
- внести в хранилище.

Но хочется, чтобы AI платформа все эти проблемы решала сама.
Именно это и была мотивация за созданием проекта DVC.