В крупных компаниях используются AI-платформы, которые покрывают все проблемы, но эти решения недоступны для маленьких компаний. Очень большую часть работы приходится делать руками, хотя нормальные решения позволяют автоматизировать шаги:
- выделить машины в облаке
- скопировать данные
- запустить
- скопировать результат
- внести в хранилище.

Но хочется, чтобы AI платформа все эти проблемы решала сама.
Именно это и была мотивация за созданием проекта DVC.

ВОзможности DVC вкратце

cli позволяет из терминала работать с датасетом:

$ dvc add data.xml
$ dvc push

data.xml.dvc - это метаинформация о данных, которые могут быть в S3, или в других cloud-хранилищах

$ dvc add images/

- добавление всех картинок

$ dvc get https://github.com/dmpetrov/my-dvc-repo cnn_model.p

Так можно из репозитория получить только модель

Можно добавлять метрики, и потом делать навигацию в репозитории по метрикам

“покажи мне лучшую метрику”

вот про метрику)

мы заменили большую excel таблицу на историю в git. Это стандартная практика
Но мы не можем в историю git положить гипепараметры.

Сравнение инструментов. Здесь вы выбираете, что вам подходит лучше.
Иногда можно комбинировать, например DVC+MLFlow.
GitLFS - дает простоту, кто-то использует этот инструмент для версионирования моделей.

Индустрия потратила 30 лет на переход от Waterfall к Agile (при переходе от Hardware к Software).
Чтобы не тратить следующие 30 лет на разработку новых парадигм для DS/ML - надо использовать лучшие наработки

На этом переходим к вопросам.

Q: Происходит ли дубликация данных при изменении версии датасетов. Или сохраняется только разница?
A: Если файл с данными один - да, дубликация происходит. Если директория с большим количеством файлов - мы будем сохранять только изменения (потому что на уровне файла происходит сравнение)

Q: расскажите про возможности branch&merge в git.
A: да, мы принесли gitflow: branch, merge. Сложность будет с merge датафайлов (метаинформации о датафайлов).

в 17:00, в митапной А 1.6 (Африка) ребята из Nixys и Дмитрий Малыхин проведут «BoF: Базы данных в контейнерах. Быть или не быть?»

Скоро начнется митап: в А 1.6. в 16:00
Жизнь в AWS ECS на раннерах Fargate. Всех очень ждем

Коллеги, все к нам на митап! Совместно с гуру сибирского DevOps'а Дмитрием Малыхиным Nixys холиварят в А1.6 с 17:00