Митап Николая Самохвалова о новых методах оптимизации запросов переехал из А 1.3 в Рио и начнется в 15:00.

​​💥А в 16:50 розыгрыш денежного приза на стенде Спортмастер. Успевайте принять участие! (Ещё успеваете).

А в 15-00 вас ждут отъявленные баги и как их избежать на примере ClickHouse / Алексей Миловидов (Яндекс) — Конгресс-холл

Новости о PostgreSQL 12 / Олег Бартунов (Postgres Professional) — Дели + Калькутта

MongoDB distributed transactions from top to bottom / Henrik Ingo (MongoDB) — Москва

Путь к Open Source DBaaS с помощью Kubernetes / Николай Маржан (Percona) — Сингапур

Версионирование дата-сетов и моделей машинного обучения, используя Open Source-инструменты / Дмитрий Петров (Iterative.ai) — Найроби + Касабланка

Новая инфраструктура компонентов в MySQL 8.0 / Vittorio Cioe (Oracle - MySQL) — Мумбай

Как мы сделали С++ распределенным / Игорь Сапего (GridGain) — Кейптаун

Пекин + Шанхай, Рио-де-Жанейро и Калининград стоят пустыми и ждут посетителей в следующем слоте.

В 15:00 в А 1.6 OpsGuru приглашают обсуждать «GCP: Обработка Данных и Машинное Обучение штатными средствами».

В 15-00 (совсем скоро) в митапошной R1.7 Вирна Штерн (Aletheia Digital) и Александр Зиза рассказывают про цифровую трансформацию.

Алексей Миловидов (Яндекс) будет жечь про отъявленные баги и как их избегать.

Версионирование дата-сетов и моделей машинного обучения, используя Open Source-инструменты / Дмитрий Петров (Iterative.ai) — Найроби + Касабланка.
Дмитрий начинает доклад.

Комментирует Иван Глушков

1 часть доклада - почему ML настолько “необычный”, почему не можем использовать стандартные подходы, которые применяются ко всей отрасли ПО.

Простите за качество фоток, очень странное освещение в зале

Основное отличие ML: гиперпараметры развиваются быстрее кода, эта информация - очень важна. Именно ею выделитесь с коллегами. И Excel - один из самых неплохих вариантов, бывают и хуже.

Второе отличие - нужно отслеживать метрики, нужно хранить метрики вместе с параметрами, их тоже надо пересылать и хранить.

Аналогично нужно хранить сами модели. Очень много моделей, чаще всего в имени хранится информация, например “model_v7_i1_zero_15”

Чуть лучше обстоит дело с датасетами, они реже меняются. Однако, они тоже меняются, и их тоже надо версионировать. Опять файлы, директории с разными названиями,

Код - тоже есть, не подумайте, и он тоже меняется. Но здесь все проще, git и стандартные практики.

Есть несколько решений.

1. MLFlow. Есть поддержка работы с гиперпараметрами, есть поддержка метрик, моделей. Автоматическая генерация таблиц с результатами. Это избавляет от большого количества ошибок, проблем с лишней тратой времени на одну и ту же работу.

Это покрывает часть проблем.