Буду делать обзор недавно начавшейся соревы и набрасывать идеи для ее решения. Насчет своего участия пока не решил. Приходите обсуждать

The Best visualization I have ever seen

Короче, Подписчики, я вам шарю презу за 20 минут до выступления в благородство играть не буду: выполните для меня пару заданий — и мы в расчете. Заодно посмотрим, как быстро у вас башка после биоинформатики прояснится. А по вашей теме постараюсь разузнать. Хрен его знает, на кой ляд вам эти медальки сдались, но я в чужие дела не лезу, хотите получить, значит есть за что...

Считаю ведущим показателем качества английской речи то, что ютюб генерит корректные субтитры.

Кстати, решил, что нечего добру пропадать и написал небольшой разбор метрики на форум каггла. Не пропадать же затеханому добру.

Что там с Breast Cancer?
Я чет приуныл от того, что сильный бейзлайн считался на 4xA100 и не делал ничего недели две с половиной. Сейчас готовлюсь к экзу и как-то прям сильно решать времени нет. Внезапно, меня пинганули об этом и я видимо буду немножко менеджерить процесс решения соревы, но сам не буду слишком много кода писать. Нативная интеграция лидерских качеств какая-то
Запилю обязательно разбор соревы через неделю после ее окончания, но возможно получится за эту неделю нафармить каких-нибудь дешевых гипотез и залететь все же в медальки. Вдруг выйдет взять наскоком, кто знает!

Тем временем для NLP-соревнований вышел новый дизраптящий датасет для претрейна:
https://huggingface.co/datasets/huggingartists/slava-kpss

Очень люблю визаулизации.
Этот график явно делали программисты/дсы. Прямо вижу, как люди смотрели на график и такие:
-Как-то недружелюбно для пользователя. Надо сделать приятнее.
-Добавим облака?
-Добавим облака.

В следующих сериях:
1. Разбор Breast Cancer и почему ничего не взяли. По классике будет еще и созвон в зуме в следующую пятницу (поставьте себе встречу и приходите ко мне!)
2. Самый энергоэффективный способ фармить кагл, который наверно я переизобрел
3. Мысли про новую сореву, чтобы участвовать

Играл с ChatGpt и просил сгенерировать мне Dockerfile, который устанавливал бы нужное окружение с помощью poetry.
Что интересно, так это то, что ChatGPT выдал мне такую строчку для усатновки самого poetry в image:
RUN curl -sSL https://raw.githubusercontent.com/python-poetry/poetry/master/get-poetry.py | python -
Ссылка недействительная. Но что мешает поискать еще битых ссылок по похожим запросам и залить туда шпионящий модифицированный вариант софта и скамить мамонтов?
ChatGPT уже генерил ненастоящие статьи. Кажется, может генерить ненастоящие ссылки.
Беглое гугление говорит, что ChatGPT вообще довольно редко генерит рабочие ссылки
Так может, пора заставить их быть рабочими?

Сегодня 16 человек пришло послушать. Спасибо!

Все сегодня плачут по отключению ODS. Из всех фреймворков выбрал пока singularis.ai, поддавшись на Валерину пропаганду. Хотя для меня уже давно чаты Берлоги заменили ODS, пачивший на лаврах и застывший в своей неповоротливости. Слишком много людей и мало вовлеченности, ничего не добиться нормально
UPD: чет много людей все еще не понимают, о чем речь. Я в своем контексте и введения людеям не дал. Напишу короткия и грязный пост видимо о том, что вообще случилось с одсом

Что же случилось с ODS?
ОДС начал погибать еще до ковида. Стало очень много людей. Когда становится много людей, много нерелвантных мнений. От этого средний уровень вовлеченности падал и типичным было увидеть раз в три дня одно сообщение в условном kaggle_crackers.

Коронваирус дозаправли топлива: многим людям было скучно дома и они вернулись в одс для общения. Я тоже тогда вернулся и даже стал проходить курс по графовым нейросеткам от стендфорда. Оказалось, что его проходят парни из AI лабы Сбера, которые даже сделали отдельную группу. Оказалось, что это уже тоже целое околосбер-сообщество. Люди стали привыкать к короне и одс снова стал остывать примерно через полгода-год.

В этот момент многие большие мальчики из ODS поняли, куда дует ветер и стали собирать вокруг себя комьюнити, чтобы держать людей в курсе и дальше качать личный бренд. Примеры: канал Валеры, незаслуженно непопулярный канал Сережи Колесникова (scitator). Последний кстати пытался еще и собрать людей вокруг Catalyst и контрибьюшнов в него, но почему-то история заглохла.

Когда начались боевые действия, ОДС попал под волну банов Slack для российских компаний. Как я понимаю, Slack чарджит за пользователей и раздутый (и в основном мертвый) ODS стал слишком дорого обходиться. Кто-то из основателей ODS оплатил со своей карты хост хаба, но это было временным решением. Было ясно, что ОДС умрет/var/folders/l1/b01fb2tx5l12nfvrxfmqxggh0000gn/T/TemporaryItems/NSIRD_screencaptureui_RjiDKU/Снимок экрана 2023-03-24 в 14.19.47.png не сегодня, так через пару месяцев.

Натекин решил перетащить всех в другую селф-хостед платформу даже до февраля 2022, но дело шло тухло. Я кажется даже подался на инвайт, но так в матрикс инвайта и не получил. Сейчас, когда Натекин помогает РКН строить цифровой гулаг, не сильно сожалею о отсутствии инвайта.

Более либеральным форком ОДС стал singularis.ai. В нем все по-старому с точки зрения организации, пока люди туда только подтягиваются. Можно считать его ODS 1.1.

Есть еще комьюнити NoML, которое можно занести в личные каналы, пытающиеся вырасти в сообщество.
Сберлога переродилась и перестала быть частью Сбера. Теперь она (sci) Berloga, что даже немножко смешно, но соответствует духу времени.

Алгоритм принятия решений для вас по взглядам на картинке

Сегодня закончился IceCube. Закончился на 327 месте
Разбор ждем на следующей неделе:
Почему не выиграли
Что великолепного придумали лучшие команды
Как же хендлить 400 гб графовых обучающих данных?

У авторов соревнования есть отдельный приз за лучшее описание решения, так что должно быть жирно. Постараюсь мощный разбор подготовить

Ключевая идея из соревнования, которую можно использовать:
Если у вас объекты в датасете переменного объема, то можно просто разделить их на несколько этапов-лоудеров и тренироват вашу модель с разным батчсайзом.

Например тут берут лоудер, в которой много 'мальенких' объектов и учатся на нем с батчсайзом в 200 каждую эпоху, а для больших объектов берут батчсайз 20.
ТАким образом за одну эпоху мы используем два Loader, проходим по полным данным один раз и максимально утилизируем и данные и GPU.
Вроде бы на поверхности, но большая часть участников в сореве большие события просто выкидывала.

Выступаю в Мюнхене через 18 дней. Приходите слушать 🙂