Можно добавлять метрики, и потом делать навигацию в репозитории по метрикам

“покажи мне лучшую метрику”

вот про метрику)

мы заменили большую excel таблицу на историю в git. Это стандартная практика
Но мы не можем в историю git положить гипепараметры.

Сравнение инструментов. Здесь вы выбираете, что вам подходит лучше.
Иногда можно комбинировать, например DVC+MLFlow.
GitLFS - дает простоту, кто-то использует этот инструмент для версионирования моделей.

Индустрия потратила 30 лет на переход от Waterfall к Agile (при переходе от Hardware к Software).
Чтобы не тратить следующие 30 лет на разработку новых парадигм для DS/ML - надо использовать лучшие наработки

На этом переходим к вопросам.

Q: Происходит ли дубликация данных при изменении версии датасетов. Или сохраняется только разница?
A: Если файл с данными один - да, дубликация происходит. Если директория с большим количеством файлов - мы будем сохранять только изменения (потому что на уровне файла происходит сравнение)

Q: расскажите про возможности branch&merge в git.
A: да, мы принесли gitflow: branch, merge. Сложность будет с merge датафайлов (метаинформации о датафайлов).

в 17:00, в митапной А 1.6 (Африка) ребята из Nixys и Дмитрий Малыхин проведут «BoF: Базы данных в контейнерах. Быть или не быть?»

Скоро начнется митап: в А 1.6. в 16:00
Жизнь в AWS ECS на раннерах Fargate. Всех очень ждем

Коллеги, все к нам на митап! Совместно с гуру сибирского DevOps'а Дмитрием Малыхиным Nixys холиварят в А1.6 с 17:00

В следующем слоте всё плотненько, без перерывов. В 16 часов начнутся:

Кластер Elasticsearch на 200 Тб+ / Петр Зайцев (Одноклассники) — Конгресс-холл

SQL/JSON: реализуем стандарт и не останавливаемся на этом / Александр Коротков (Postgres Professional) — Дели + Калькутта

Микросервисная операционная среда для высоконагруженных вычислений в АСУ ТП АЭС / Вадим Подольный (Физприбор), Николай Хлебников (Физприбор) — Пекин + Шанхай

MongoDB vs. Postgres Benchmarks / Álvaro Hernández (OnGres) — Москва

Хардкор-трек от Романа Ивлиева:
iptables + consul = :3 / Иван Агарков (Wargaming) — Сингапур

Увлекательное в повседневном: как оптимизировать справочные формализмы с помощью машинного обучения и NLP? / Артём Просветов, Анастасия Семёнова (CleverDATA) — Найроби + Касабланка

When is MyRocks good? / Alkin Tezuysal, Сергей Кузьмичев (Percona) — Мумбай

От сервиса нагрузочного тестирования к центру компетенций / Урал Нургалин (Райффайзенбанк) — Рио-де-Жанейро

Способы компиляции C/C++ в Webassembly на примере портирования Redis / Михаил Воронов (Fluence Labs) — Кейптаун

Что на самом деле вернет SQL-запрос, или Заключаем контракт между базой и приложением / Антон Ревяко (holistic.dev) — Калининград (двухчасовой доклад).

Однозначный выбор редакции: доклад про хайлоад на АЭС! (да, всем очень интересно как работает АЭС)

Интересные факты о докладчиках: Николай Хлебников занимается разработкой компонентов Программной Платформы "Вершок" и Ядра Реального Времени "Корешок".

А в конгресс-холле на докладе про баги все упало...но быстро поднялось)

Алкин из Percona ждет на втором этаже в Мумбаи)

Начинаем трансляцию про АЭС

В зале половина конференции...потому что будущее за атомной энергетикой.