Скорость академиков

Сегодня в JMLR вышла моя статья, описывающая простой, но довольно стабильный способ кластеризации GNNками. Всё хорошо – только статье уже почти три года. Первый раз мы её подали в сентябре 2020 года, потом делали ревизию в феврале 2022 (!), и, наконец, в январе 2023. За это время её успели заимплементить в Pytorch Geometric и процитировать почти 100 раз.

Очень забавно раз в год вспоминать, что у тебя там вообще за статья, разбираться с добавлением экспериментов и выводом теории. В этом году мне снова начала она нравиться! Такое “вечное сияние чистого разума” по-научному. 🛌🛌

Мы тут выложили небольшую околопрактическую статью на архив.

Отвечает она на очень криво поставленный вопрос: если у нас есть набор эмбеддингов, как определить, «хороший» ли он? Задача часто встречается в случае unsupervised/self-supervised learning, когда разметки нет, и сделать её не дают (например, юристы). Несмотря на отсутствие меток, часто нам все-таки хочется делать model selection и оптимизировать гиперпараметры.

Понятно, что идеального решения в таком вопросе быть не может, но мы чуть напряглись и накопали 4 метрики, которые неплохо коррелируют с качеством на разных задачах. В частности, одна из метрик хорошо коррелирует с качеством однослойных моделек для эмбеддинга графов, что, конечно, радует мне сердце. ✨

А ещё у Марины, соавтора этой статьи, есть камерный тг-канал с котами! 🐈

Набросал код статьи на нампи и выложил на гитхаб, чтобы было с чем поиграться. Подписчики просят - мы делаем. 💪

Хочется чутка поспорить с постом Лаиды (подпишитесь, кстати, на канал – много личного мнения – люблю такое).

Во-первых, стоит разделить переработки и достигаторство. Достигаторство – это чаще всего про нестабильную самооценку, которая зависит от ваших результатов на работе/в науке. Нестабильная – потому что зависит от результата – принятых статей или в срок затащенных проектов. У Лаиды больше про переработки, так что чуть наброшу про них.

Систематические переработки, не за неделю до дедлайна, а в режиме “в любое время суток отвечаю на все вопросы коллег” – это прям почти однозначно плохо, и для тебя, и для отношений с другими людьми в команде. Второе чуть проще – если в команде нормализуются полуночные фиксы, люди начинают этого ожидать. И если для тебя работа – это 90% жизни, для других это вероятнее всего не так. Не надо лишний раз заставлять коллег задумываться, стоит ли ваше письмо ответа в десять вечера. 😟

Теперь о том, почему систематически перерабатывать плохо, даже если для тебя работа – это жизнь и судьба (одноимённый роман Гроссмана страстно рекомендую). Тут у меня не такое жёсткое мнение, скорее ощущение, основанное на наблюдениях из жизни. Самые успешные ученые, с которыми мне довелось пообщаться лично – удивительно разносторонние люди. Их объединяет то, насколько хорошо они умеют “выключаться” из работы, и давать мозгу отдохнуть и уложить те знания и опыт, которые были получены в период интенсивной работы. “Стахановцы”, мне кажется, в среднем не переключаются с работы в достаточной степени, чтобы делать какой-то глобальный прогресс.

Моё отношение к переработкам сильно определили мой научник со сколтеха Панос и постдок в нашей лабе Давиде. Панос умеет сосредоточено въёбывать перед дедлайном, Давиде, как настоящий итальянец, показывал, как нужно отдыхать. Когда мы работали в месте, держался очень удачный баланс высокой эффективности и уместного чиллаута после дедлайна. 🏄‍♂️

Как выбирать идеи

Под юбилейным постом меня попросили рассказать, как я выбираю идеи, над которыми работаю. Вопрос сложный, ситуации у всех разные, don’t take this as a medical advice.

Я выделил 5 факторов, которые стоит учесть при выборе проекта на следующие несколько месяцев. Да, те самые Пять Простых Вещей, Которые Нужно Проверить Перед Тем Как Выбирать Проект, без регистрации и смс. Долгосрочное планирование стоит отдельного поста, напишу его как-нибудь потом. 👓

Во-первых, обстоятельства. В этом месяце в университет приехал специалист из сильно другой области? Произошел прорыв в смежной области, который сможет сильно изменить вашу? Получили грант на 9000 ТПУ дней? Стоит подумать, какие возможности от этого открываются и пересмотреть свои текущие приоритеты.

Во-вторых, влияние на мир. Ваша статья будет интересна кому-нибудь, кроме научрука и бабушки? Можно ли её использовать на практике? Поможет ли она решить какие-нибудь проблемы в этом мире? Нет? Может, стоит подумать о чём-то другом. Это очень сложно оценить заранее, потому что мы не очень хорошо умеем представлять, что важно другим людям.

В-третьих, выполнимость. Если для написания статьи нужно пройти пару postgrad level курсов, оно точно стоит того? Пригодятся ли эти навыки потом? Или с другой стороны – есть ли в вашем распоряжении все ресурсы, чтобы выполнить этот проект быстро и эффективно?

В-четвертых, уникальность. Кто-нибудь напишет и опубликует такую же статью за вас на следующем нипсе? Если да, может стоит просто подождать и поработать над чем-нибудь другим?

В-пятых, ваше желание. Какой бы классной ни была статья, если над ней не хочется работать каждый день месяц-другой подряд, может, не стоит себя мучить?

Спасибо Павлу за вопрос, я надеюсь, кому-то будет полезно. Ещё будет три поста «по мотивам», оставайтесь на линии, ставьте лайки, подписывайтесь на канал. ✨

За последние несколько лет у меня выработалась довольно полезная привычка записывать вещи. Совет записывать звучит максимально по-капитански, но на практике мне понадобилось довольно много времени, чтобы привыкнуть к этому.

У меня есть отдельный документик с идеями для статей и ещё один – для улучшений разных алгоритмов, на которые пока нет времени. Также оказалось очень полезным иметь по гуглдоку с личными заметками по каждому из проектов, который я веду. Из-за того, что много асинхронного взаимодействия, только так получается не терять контекст. 📃

А вот то, что я сделал за день, оказалось проще записывать ручкой на бумажке. Это позволяет избежать ноющего чувства, что ничего не сделал за день, если особых результатов не видно. С учетом того, что иногда не получается что-то неделями, это сильно позволяет снизить стресс.

Очень полезным также оказалось записывать даже самые мелкие задачи, которые не будут сделаны буквально сейчас. Это очень сильно снижает когнитивную нагрузку, а в моменты безделья можно выбрать из списка не очень сложную задачку и затащить её, получив дофаминчика. 👌

А какие у вас отношения с записями? Ведёте какой-нибудь zettelkasten или orgmode?

Небольшая ненаучная тирада про наушники.

Беспроводные наушники нас всех приучили к посредственному звуку. Многие проводные уши, начиная от буквально $20 (в качестве рекламы пусть будут ещё вот эти за $50), будут звучать сильно лучше этих ваших модных затычек с шумоподавлением за $300+. Если выкинули переходник, который шёл в комплекте с телефоном, придётся ещё потратить $1-10 на мини-DAC. Готово – Аврил Лавинь поёт как из 2007. 💃

А вы, подписчики-аудиофилы, чем пользуетесь?)

“I highly recommend accepting this paper, which I find comprehensive, well-executed, and highly significant in its potential applications. The thorough experiments and well-crafted write-up are commendable.”

“The paper exhibits a good level of quality. The theoretical aspects are clear, and the experimental analysis is comprehensive. The comparisons provided are valuable.“

Капец непривычно после типичных пассивно-агрессивных ревью получать такие добрые с воркшопа по топологии и геометрии в МЛ. Кажется, пора организовывать cuddle party где все друг другу будут рассказывать, какие у них статьи классные. 🫂🫂🫂🤗

Набрёл на сайт агенства, где можно заказать выступления (можно ли заказать на свадьбу?!) всяких известных людей. Позвать Эндрю Ына или Дафну Коллер стоит $30000-$50000 – хотя, конечно, чтобы выдержать курс про графовые вероятностные модели столько придётся заплатить скорее слушателям. На сайте также есть профиль Хинтона, но без указания стоимости выступления – нейродедушка бесценен.

Конечно, всех ушатал главный шитпостер всего ML-твиттера Гэри Маркус, у которого скромно указан прайс в $100,000+. 🤤

Про grid search и тюнинг алгоритмов

При создании новых алгоритов почти всегда приходится искать, какие параметры дадут лучшее качество на разных задачах. Почему-то многие коллеги для этого используют grid search (поиска по заданной сетке). Коллег я потихоньку разубеждаю спорами на бонус (~100$), а вам придётся просто поверить на слово и прочитать пост. ⌨️

Поиск по сетке – особенно плохая идея для новых алгоритмов, потому что интуиции для выбора корректной сетки на них почти нет. Картинка из старой статьи Бенджио, на мой взгляд, отлично иллюстрирует проблему поиска по сетке: мы тратим d^k чтобы посмотреть на d значений для каждого из k параметров. При случайном поиске же для d^k поисков мы отсмотрим d^k значений для каждого из k параметров.

У меня в практике было несколько случаев, когда случайный поиск находил неожиданные значения для гиперпараметров, которые никто бы не попробовал добавлять в сетку. Так, в статье про кластеризацию графов именно случайный поиск позволил мне понять, что в методе конкурентов всю работу делает регуляризатор вместо собственно целевой функции. А наша статья про бенчмаркинг графовых нейросетей GraphWorld – это вообще ода случайному поиску – там мы его используем буквально для всего. 🤴

Надо заметить, что для более ресурсозатратных поисков стоит смотреть в сторону околоэволюционных алгоритмов – Vizier от гугла или Nevergrad от меты. Последний я успешно использовал для генерации цветовых палитр с учётом особенностей цветового восприятия и дальтонизма.

Всем успешного поиска! 😏

Под постом про оптимизацию несколько раз спросили про байесовские методы. Раньше они у меня не заводились, но мыжтутучёные, штош, придётся пробовать. 🤓

В качестве задачи я взял свой код для оптимизации цветовых палитр. Задача без тренировки дорогих сеток, но с большим количеством локальных минимумов и противной симметрией. Сравнил три популярных оптимайзера из Nevergrad с тремя из Оптуны, включая дефолтный TPE.

Результаты получились плохими для TPE, который оказался лишь капельку лучше случайного поиска. 📉

Популяционные алгоритмы типа CMA оказались сильно лучше, да еще и сильно быстрее – примерно в 10 раз из-за того, что никакой умной оценки параметров не производится . Реализация из Nevergrad оказалась в ~1.5 раза быстрее своего аналога из оптуны.