Завтра выступаем на воркшопе NeurIPS 2023 как выбор организаторов!
Подключайтесь, радуйтесь с нами 😍

Время:
В Москве 1:00
В Европе 23:00

В комменты кину приведенное время и дату

Вчера закончилось соревнование CAFA5. Заняли с командой 132 место и зафармили бронзовую медальку 🥉
Разбирать эту сореву нет особого смысла: случилась она давно и только сейчас подбили лб нормально. Я даже биологический контекст не помню

Тем самым переполз с 1213 места на 1121 в глобальном рейтинге соревнований. Видимо в этом календарном году это последняя медалька 😭

Стало быть примерно за год получилось:
Вползти в Competition Expert
Выступить на Мюнхенском каггл митапе
Дать кучу разборов прошедших соревнований
Зафармить серебро 🥈и три бронзы 🥉️️️️️️ в компетишнах

И самое главное: познакомиться с кучей мотивированныих и интересных людей

Тинькофф запустил игру в слова, и я в ней не мог проиграть

Правила просты: 6 попыток, слово из 5 букв.
Нужно предложить существительное.
Игра подсветит, каких букв нет, какие есть, но не на той позиции, и угаданные буквы.

Пример: правильное слово 'канат', а вы пишете 'набат' – последние две и вторая буква угаданы, первая присутствует, но не на той позиции, а 'б' исключается. 🅰️

Я подумал и решил, что игра алгоритмически проходима, так что используйте мой скрипт. Он сильно помогает решать эту задачу. 🤖🤖🤖
1. Скачиваем массив всех русских слов
2. Из них отбираем только те, что содержат нужные буквы
3. Из них вычищаем слова, где есть ненужные буквы
4. Фильтруем по знанию о позициях присутствующих букв
5. Оставляем только существительные

На выходе остается буквально несколько слов, из которых можно выбрать наиболее адекватное с наибольшим числом уникальных букв и отгадать слово дня. Вы великолепны!


В качестве компенсации желтому банку, подписывайтесь на канал @scitator_ai. Он ресерчит, иногда допиливает Catalyst (я туда даже контрибьютил) и вообще крутой человек из Тинькофф, его канал незаслуженно непопулярен

Маркетологи тинька, свяжитесь со мной, если вдруг хотите заплатить за интеграцию. Я не против

Рубрика "идеи для изи контрибюшнов"

Есть такой майкрософтовский фреймворк для DL: torchscale.
Фреймворк предназначен для обучения PyTorch моделей на нескольких GPU эффективно и, в общем, для использования DataParallel "из коробки". Кстати, у них есть даже собственная реализация статьи LongSeq + VIT => LongVIT.
Решил поиграться с ним, но вот у меня он отказывался запускаться даже для примеров. Оказалось, господа инженеры забыли добавить часть зависимостей в requirements.txt, вероятно, потому что на их тестовом стенде всё уже было на месте.
Угадайте, кто за ними починил?

К чести мейнтейнеров этого фреймворка: после открытия пулреквеста не прошло и двух часов, как его влили в мастер. Сегодня ставлю внезапный лайк людям, подарившим мне бесконечную любовь к Windows 95 🤍️

Мораль, как обычно: все ошибаются, и если вы что-то починили, поделитесь со всеми. Будете контрибьютором фреймворка с 3к звездочками. Ну, или хотя бы переименуйте что-нибудь в polars и разберитесь, как всё это работает. Обычно контрибьюшн гайды позволяют неплохо прокачаться в том, как нужно писать код.

Тут один английский сэр наконец созрел и поставил аватарку на свой канал. Это будет означать только одно:
Пора сработать моему смарткнотракту на привлечение к нему внимание.
У Сережи совершенно противоположный моему каналу контент:
Он пишет о том, как избегать мл в бизнесе и если избежать не удается- как его правильно сервить, чтобы никто по дороге не умер.

Лично наблюдал, как из нескольких стажеров он вырастил плотных и ответственных сенйорчиков, а потом под шум уехал работать в мету на E5.

https://news.1rj.ru/str/pragmaticml

Подписывайтесь, я сам вычитываю посты перед публикацией и за качество ручаюсь. Ну и с Сережей каждый день общаюсь 😍. Он даже поддался на мою агитацию и тоже воспользовался секретным сигналом, и тоже неудачно. Разбор кстати почему так вышло и как вообще секретный сигнал иногда работает- через час. А еще я вам наверно задолжал разбор open problems

Секретный сигнал не сработал, но вот идею за трюком я вам расскажу:
В некоторых соревнованиях скор не сильно превосходит случайное угадывание, и лучше всего паблик-сабмиты работают через невоспроизводимые паблик-ядра. Хитрые авторы этих ядер часто получают медали за обсуждение, но они не готовы делиться кодом обучения своих моделей, что не способствует развитию сообщества. Я всегда ставлю минусы таким ядрам, потому что такая дешевая гонка за кармой должна быть хоть как-то уравновешена 😈

Под конец некоторых соревнований можно заметить, что бронза заканчивается именно теми скорами, которые были представлены такими публичными решениями.

Kaggle так устроен, что если вы сабмитите одни и те же предикты с вашим другом, тот, кто послал первым, будет выше в рейтинге. Получается, что в бронзе и чуть ниже нее выстраивается ряд из сотен человек с абсолютно одинаковыми значениями предсказания. При этом они отсортированы по скорости, и, несмотря на вашу быстрейшую по эту сторону Миссисипи руку, где-то в Дели найдется стрелок еще быстрее. И его банда. Пусть этим непреодолимым пределом по метрике будет const. Им заканчивается бронза. Часть решений в бронзе представляют собой улучшения этого лучшего публичного решения, до которого не все дошли, или там просто немного подправили коэффициенты, чтобы быть выше на паблике. Допустим, такие решения заслуживают половину бронзовых медалей на лидерборде.

Итак, чтобы превзойти всех бандальерос в бронзе, нужно быть немного лучше, чем топовое публичное ядро, плюс еще немного. Запишем это как const. Но помним, что для того чтобы попасть в бронзу, достаточно превзойти константу.

Теперь представим, что мы добавим к этой константе случайную величину X с малым весом, например, из равномерного распределения. Тогда наш скор можно представить как const * 0.99 + 0.01 * X. Малый вес нужен, потому что функции качества оценивают это самое качество не вполне линейно, и при борьбе за тысячные на лидерборде локальная оценка уже не так точна, плотность объектов невелика, и случайности много. Так что можем моделировать всю разницу как случайную величину и в малой локальной области вокруг const полагать, что изменения линейны.

Рассмотрим два случая:
1. Вы подаете просто лучшее публичное решение и получаете const на лидерборде. Вы попадаете куда-то рядом с Делийскими стрелками, и вероятность получить медали стремится к нулю.
2. Вы подаете лучшее публичное решение с добавлением шума и получаете const + X на лидерборде и в прайвате. Вероятность P(const + X > const) около 0.5. У вас есть шанс случайно опередить конкурентов.

Для прайват-лидерборда у вас обычно есть два сабмита. Вероятно, вы помните из курса теории вероятностей, что P(X > 0) <= P(max(X_1, X_2) > 0). Для равномерного распределения на [-0.5, 0.5], например, можно показать, что P(max(X_1, X_2) > 0) = 0.75. Таким образом, если подать два раза топовое публичное ядро с шумом, то вероятность достичь бронзы уже больше 50% при идеальных условиях.

Как можно понять, что трюк может сработать и попробовать его использовать 🧠:
1. Сделать сложное собственное решение в соревновании. В UBC, например, очень большие изображения, и сложно предобработать их, поэтому создать хорошо работающее ядро сложно.
2. Понять, что вы не верите в свое решение.
3. Зайти в соревнование, но идеи закончились на последней неделе.
4. Топовое публичное решение не выглядит злонамеренным или случайным.

Но в этот раз трюк не сработал 💩:
1. Видимо, я выбрал переобученное ядро для базы. Возможно, степень его переобученности можно было бы определить по тому, насколько тонко подобраны коэффициенты, и добавить нормальную валидацию для TMA. Было два типа и один из них был хорошо представлен в прайвете/лб, но не в трейне
2. Не всегда трюк работает, ведь это случайность.

Если у вас есть свои размышления о том, какие распределения лучше использовать для моделирования и смешивания с предсказаниями, и как оптимизировать вес примешивания, делитесь ими в комментариях. Я не могу прийти к каким-то окончательным выводам. Кстати, этот трюк применялся даже для получения серебра, но не для меня.

#openproblems

Давайте немного разбираться с Open Problems, где не удалось взять золото, но все равно все очень довольны.

Начнем с краткого описания соревы:
Компания-организатор занимается тем, что пытается оптимизировать проведение дорогостоящих экспериментов с препаратами на живых, но отделенных от самих созданий клетках 🧪 (in vitro) 🧪. У клеток много разных типов и препарат лечащий одну клетку мог спокойно убить все клетки другого типа в том же организме. Взяли много таких экспериментов, в том числе контрольные. Можно увидеть на картинке подробности того, как проводился тест
И того на вход у нас есть:
1. Химическая формула препарата (строка в формате SMILES)
Например вот так записывается Л-аланин: N[C@@H](C)C(=O)O
Сейчас пойду завтракать и его есть

2. Тип клетки, которая будет воздействовать на препарат (просто название-категориалка)
Пример T cell CD8+, надеюсь к меня их очень много. Они убивают рак

Все, больше ничего нет. Есть только таргеты. Таргеты забавные:
Для каждого эксперимента замеряли экспрессию генов и прогнали ее через эконометрически-биоинформатическую модель-пакет из R под названием Limma (Linear Models for Microarray Data) сравнивая с контрольным экспериментом. Взяли diff p-value изменений каждого гена и их логарифмировали и умножили все это дело на знак изменения (уменьшение- минус, увеличение плюс).

Решайте задачу господа! Через час пост про то, как 6 и 7 место смело ворвались в топ и всех порвали.

#openproblems

Третье место (да, в местах 4-5 нет классных приколов, о которых хотелось бы рассказать):
Все пошло уже мощным и грамотным заливанием ресурсов:

1. Человек взял маленькую нейростеку и оптимизировал ее ширину/длину/место для батчнормов/место для дропаутов/место для леернормов c помощью оптуны
2. Из получившихся хороших сеток собрал ансамбль, для которого веса тоже оптимизровал оптуной.
3. Для этого ансамбля предсказал тест и взял результат как псевдолейблы 🤍️, для которых веса при обучении тоже оптимизировал (конечно оптуной).
Тут интересно: вес для всех псевдолейблов был глобальный, т.е. в обучение добавлялись вообще все предикты теста, но с одинаковым весом и никак не оценивалась 'уверенность' в предикте.
4. Затем собрал ансамбль назад и обучил его 20 раз, после чего взял медиану аутпута по каждому гену

Ставки на то, сколько терафлопс-часов потратил гений оптимизации- пишите в комменты

#openproblems

🥇 🏆Победитель соревнования скорее удивил своей находчивостью и упорством

Фичи:
В первую очередь он вспомнил о статье из Nature: BioWordVec, improving biomedical word embeddings with subword information and MeSH
Идея статьи: обучим на заголовках статей/терминов word2vec и в нем будет крыться некоторая близость терминов.
Помните, что как входные данные были доступны только название лекарств, их формулы и типы клеток? Победитель пошел на вики и спарсил для каждого препарата и каждого типа клеток их короткое описание. Там, где описания не находились по обычному названию- он шел и руками находил релевантные или сам дописывал тексты. А вот уже эти описания он прогнал через BioWordVec.
Меня одного бесит, что они забыли про двойку или хотя бы to в названии метода?
И уже из этих векторов эмбедингов набутстрапил финальные эмбединги для каждого терма. Одним из параметров подбора было 'сколько предложений из описания термина бутстрапить'.

2. Взял признаки из ChemBert, которые тоже являются некоторым текстовым специализированным представлением для лекарств. Эти эмбединги были не очень стабильны и об их использование многие сломали копья. (и мы тоже) У автора пайплайн с этими эмбедингами завелся от добавления target-quantile-encoding для каждого из лекарств.

Валидация:
Без сложных приемов. Просто заметил дисбаланс клеток в некоторых фолдах и стратифицировал по типам клеток. Всего 5 фолдов. И это очень странно, построить хоть как-то коррелирующую с лб валидацию здесь было довольно сложно. Но автора и шейкнуло на 258 мест вверх.

Модели:
1d-CNN/GRU/LSTM архитектуры на его sequence фичах. Особых находок в арихетктуре нет. Но есть в лоссах, их тут целый зоопарк:
LogCoshLoss + MSE + L1 + BCE

1. Если с последними тремя все понятно, то вот первый это что-то редкое и авторское (на картинке)
Автор объясняет его как MAE, но более гладкий и взятый вот отсюда.

2. BCELoss предсказывал направление изменения эксперсии гена, что можно засчитать за декомпозицию постобработки таргета. Подробнее вот тут.
3. Оптимизатором использовался ванильный Adam, ничего особенного.

Что можно унести себе:
1. LogCoshLoss как более гладкий вариант MAE
2. Оригинальные ходы по обогащению данных иногда хорошо заходят и в этом направлении нужно думать
3. Иногда вас шейкапает на 258 мест из грязи в князи с призовыми в $12к и победу на NIPs сореве.