Это покрывает часть проблем.

2. Git-LFS помогает решить проблему с данными.

Это расширение над git для работы с большими файлами. Можно сохранять большие картинки, датасеты. Работа как с обычным git.
Проблемы возникают на проектах, где общий размер > 2GB

Т.е. GitLFS покрывает часть проблем, но не все.

В крупных компаниях используются AI-платформы, которые покрывают все проблемы, но эти решения недоступны для маленьких компаний. Очень большую часть работы приходится делать руками, хотя нормальные решения позволяют автоматизировать шаги:
- выделить машины в облаке
- скопировать данные
- запустить
- скопировать результат
- внести в хранилище.

Но хочется, чтобы AI платформа все эти проблемы решала сама.
Именно это и была мотивация за созданием проекта DVC.

ВОзможности DVC вкратце

cli позволяет из терминала работать с датасетом:

$ dvc add data.xml
$ dvc push

data.xml.dvc - это метаинформация о данных, которые могут быть в S3, или в других cloud-хранилищах

$ dvc add images/

- добавление всех картинок

$ dvc get https://github.com/dmpetrov/my-dvc-repo cnn_model.p

Так можно из репозитория получить только модель

Можно добавлять метрики, и потом делать навигацию в репозитории по метрикам

“покажи мне лучшую метрику”

вот про метрику)

мы заменили большую excel таблицу на историю в git. Это стандартная практика
Но мы не можем в историю git положить гипепараметры.

Сравнение инструментов. Здесь вы выбираете, что вам подходит лучше.
Иногда можно комбинировать, например DVC+MLFlow.
GitLFS - дает простоту, кто-то использует этот инструмент для версионирования моделей.

Индустрия потратила 30 лет на переход от Waterfall к Agile (при переходе от Hardware к Software).
Чтобы не тратить следующие 30 лет на разработку новых парадигм для DS/ML - надо использовать лучшие наработки

На этом переходим к вопросам.

Q: Происходит ли дубликация данных при изменении версии датасетов. Или сохраняется только разница?
A: Если файл с данными один - да, дубликация происходит. Если директория с большим количеством файлов - мы будем сохранять только изменения (потому что на уровне файла происходит сравнение)