ВОзможности DVC вкратце

cli позволяет из терминала работать с датасетом:

$ dvc add data.xml
$ dvc push

data.xml.dvc - это метаинформация о данных, которые могут быть в S3, или в других cloud-хранилищах

$ dvc add images/

- добавление всех картинок

$ dvc get https://github.com/dmpetrov/my-dvc-repo cnn_model.p

Так можно из репозитория получить только модель

Можно добавлять метрики, и потом делать навигацию в репозитории по метрикам

“покажи мне лучшую метрику”

вот про метрику)

мы заменили большую excel таблицу на историю в git. Это стандартная практика
Но мы не можем в историю git положить гипепараметры.

Сравнение инструментов. Здесь вы выбираете, что вам подходит лучше.
Иногда можно комбинировать, например DVC+MLFlow.
GitLFS - дает простоту, кто-то использует этот инструмент для версионирования моделей.

Индустрия потратила 30 лет на переход от Waterfall к Agile (при переходе от Hardware к Software).
Чтобы не тратить следующие 30 лет на разработку новых парадигм для DS/ML - надо использовать лучшие наработки

На этом переходим к вопросам.

Q: Происходит ли дубликация данных при изменении версии датасетов. Или сохраняется только разница?
A: Если файл с данными один - да, дубликация происходит. Если директория с большим количеством файлов - мы будем сохранять только изменения (потому что на уровне файла происходит сравнение)

Q: расскажите про возможности branch&merge в git.
A: да, мы принесли gitflow: branch, merge. Сложность будет с merge датафайлов (метаинформации о датафайлов).

в 17:00, в митапной А 1.6 (Африка) ребята из Nixys и Дмитрий Малыхин проведут «BoF: Базы данных в контейнерах. Быть или не быть?»

Скоро начнется митап: в А 1.6. в 16:00
Жизнь в AWS ECS на раннерах Fargate. Всех очень ждем

Коллеги, все к нам на митап! Совместно с гуру сибирского DevOps'а Дмитрием Малыхиным Nixys холиварят в А1.6 с 17:00

В следующем слоте всё плотненько, без перерывов. В 16 часов начнутся:

Кластер Elasticsearch на 200 Тб+ / Петр Зайцев (Одноклассники) — Конгресс-холл

SQL/JSON: реализуем стандарт и не останавливаемся на этом / Александр Коротков (Postgres Professional) — Дели + Калькутта

Микросервисная операционная среда для высоконагруженных вычислений в АСУ ТП АЭС / Вадим Подольный (Физприбор), Николай Хлебников (Физприбор) — Пекин + Шанхай

MongoDB vs. Postgres Benchmarks / Álvaro Hernández (OnGres) — Москва

Хардкор-трек от Романа Ивлиева:
iptables + consul = :3 / Иван Агарков (Wargaming) — Сингапур

Увлекательное в повседневном: как оптимизировать справочные формализмы с помощью машинного обучения и NLP? / Артём Просветов, Анастасия Семёнова (CleverDATA) — Найроби + Касабланка

When is MyRocks good? / Alkin Tezuysal, Сергей Кузьмичев (Percona) — Мумбай

От сервиса нагрузочного тестирования к центру компетенций / Урал Нургалин (Райффайзенбанк) — Рио-де-Жанейро

Способы компиляции C/C++ в Webassembly на примере портирования Redis / Михаил Воронов (Fluence Labs) — Кейптаун

Что на самом деле вернет SQL-запрос, или Заключаем контракт между базой и приложением / Антон Ревяко (holistic.dev) — Калининград (двухчасовой доклад).