Получается, поеду на NeurIPS презентовать статью трёхлетней давности, на которой 100+ цитат. Ноука. 🥛

В твиттере Джона Грина проскочил интересный вопрос – похоже, люди сильно различаются по способностям визуализировать разные вещи. Многие люди могут спокойно представить себе “картинку” объекта со всеми его свойствами, тогда как у других получится только представить концепт этого объекта, без конкретных признаков. 🤤

Интересно, как это работает у дорогих подписчиков.

На HackerNews завирусилось, что мы релизнули кусок библиотеки для анализа графов. Поскольку документации в релизе особо нет (🤦‍♂️), хочу быстренько рассказать, что там вообще сейчас есть и что будет.

Во-первых, этот кусок библиотеки – только для анализа графов, которые влезают в оперативную память. Не надо пугаться – с нужным сжатием в память влезают графы с парой миллиардов вершин – хватит, чтобы проанализировать фейсбук. 🤓

Во-вторых, основной кусок, который заопенсоршен – про кластеризацию. У нас довольно хорошо работает иерархическая кластеризация, есть статьи на ICML/NeurIPS [1, 2, 3]. Вот её и постарались опенсорсить в первую очередь – в sklearn дай боже получится кластеризовать датасет на 20к вершин (😮‍💨) а у нас получается миллиард. 📈

До конца года хочу выпустить наш код для in-memory эмбеддингов туда же. Будет быстро, обещаю. ✨

На днях вышла интересная статья Vision Transformers Need Registers.

Vision Transformers (ViT) – одна из основных современных архитектур для больших vision-моделей. В отличие от счёрточных нейросетей, она отлично model-параллелится, так что получается эффективно тренировать большие модели, которые хорошо работают на практике. 🥁

Проблема в том, что на attention масках получаются какие-то непонятные артефакты (см. картинку) в виде пикселей с очень высокими коэффициентами. Авторы статьи решили почесать репу и разобраться, какую функцию они выполняют и как от них избавиться. 🧐

Оказалось, что трансформеры таким образом передают информацию между слоями, и можно это вылечить специальными токенами, которые не будут использоваться для финальной агрегации в эмбеддинг, но для них всё ещё будут учиться attention слои. Это помогло снизить проблему коммуникации и очистить чакры attention маски.

Мне кажется, хороший пример научного подхода ко всей этой нашей машинлёрнинговой алхимии – авторы нашли странный феномен в моделях, выяснили, как он работает, пофиксили, получили прирост на бенчмарках. 📈

Открылысь заявки на Student Researchers, Ph.D. level в наш уютный Google Research. Student Researchers – стажировки для Ph.D. первых нескольких лет, которые хотят себя попробовать в индустриальной лабе. 🤓

Очень Важно™ подаваться на стажировки прям на самом открытии – так вы сильно увеличиваете шанс на попадание 📈. Дополнительно поможет подаваться во все интересующие страны, ну и озаботиться получением реферала, конечно же.

В этом году мне дали research intern – чуть более опытного Ph.D. ближе к выпуску. Как co-host я успел поработать с двумя студентами-исследователями, и разницы в программах для них особо не заметил.

Удачи с подачами! ❤️

Наткнулся на миленький гайд по преодолению тревожности в занятиях математикой. Несколько пунктов, которые мне показались интересными:

1. Люди не делятся на “математиков” и “не-математиков”. Ей можно заниматься или не заниматься.

2. В школе и университете мы привыкли заниматься математикой на скорость – решать тесты и задачи на время. В реальной жизни редко когда важна скорость решения задачи (если вы не в хеджфонде работаете, конечно 📈).

3. Мы часто думаем, что в математике, в отличие от гуманитарных наук, есть только два типа ответов: правильный и неправильные. На самом деле, прийти к правильному ответу можно множеством разных путей. 💡

Мне кажется, в России особенно токсичное отношение к “чистоте” математики. Как вы с этим справляетесь, дорогие читатели?

Пока мудрые мысли меня не посещают, ловите немудрую. 🤤

Вернувшись из октябрьской Москвы обнаружил, что жить, когда на тебя светит солнце, намного легче и приятнее. Приятнее не из-за всяких там витаминов Д, а будто на базовом психическом уровне мы так и остались цветочками-пирожочками, тянущимся к солнцу.

Посмотрел на распределение солнечных часов в трёх городах, где я пожил достаточно долго – и точно, Нью-Йорк чуть ли не в три раза солнечнее зимой, чем Берлин. Москва зимой – это отдельный вид серых будней. Дубай не показываю, потому что там я на улицу днём почти не выходил. Всё-таки климат – не солнышком единым. 😎

Вот такой фактор выбора места дли жизни, который вам не покажут на numbeo. Интересно, есть настолько прямое влияние погоды на характер, или "Россия для грустных" – это совпадение? 🤔

Сегодня у товарища Хинтона вышло интервью в New Yorker (доступно без пэйволла). В отличие от всякой технической журналистики (не будем показывать пальцем), интервью вышло литературным и человечно-добрым. ❤️

Я очень не люблю смотреть видео, а вот чтение – то, что надо. Раз уж рекламирую вам Нью-Йоркер, который я читаю почти каждый день, самое время рассказать про ещё пару классных сайтов с около-научным контентом.

1. Aeon (я читаю только раздел эссе) публикует эссе от около-академиков о философии, науке, истории и искусстве. Там можно узнать, почему английский язык такой странный или почему не стоит сравнивать мозг с компьютером. 🤓

EDIT: Подписчик добавил, что статью про компьютенционализм раскритиковал бы 🗡 любой уважающий себя нейроучёный. В целом, там действительно больше фриков, чем на кванте, но фрики в целом полезны обществу, да и учиться критиковать их полезно.

У Aeon’а есть отдельный сайт про психологию – Psyche с фокусом на психологию и этику. Например, там можно найти толковый гайд про то, как бороться с синдромом самозванца.

2. Quanta много пишет про передовые исследования в естественных науках и компуктер саенсе. Примеры статей:
🙌 "New Proof Shows That ‘Expander’ Graphs Synchronize"
😏 "Complexity Theory’s 50-Year Journey to the Limits of Knowledge"

Quanta поддерживается клёвыми Simons foundation – если не слышали, они поддерживают несколько исследовательских центров в США, создали Flatiron Institute в Нью-Йорке, и вообще максимально эффективно спонсируют науку.

Меж тем, гугл выпустил новый бренд шоколадок (техрепорт). 😛

Тем временем, я пытаюсь успеть доделать постеры к нипсу. Буду там развлекать людей почти каждый день, но интересные постеры и доклады буду стараться закидывать сюда по вечерам.

Прилетел на NeurIPS в Новый Орлеан. Все соседи смотрели что-то про LLMки, подозреваю, что не-учёных будет на конференции рекордное количество. 👥

У меня плотненькое 💪 расписание на неделю:
* Сегодня у нас expo talk "Graph learning meets artificial intelligence" в час дня.
* Во вторник демо около стойки гугла "Embedding Large Graphs" в 15.20.
* В среду Google Faculty Luncheon и Google party вечером. 😎
* В четверг на вечерней сессии мой постер к статье "Graph Clustering with Graph Neural Networks".
* В пятницу воркшоп New Frontiers in Graph Learning – у меня там ещё одна статейка, на архиве выйдет в понедельник.

P.S. Если кто-то хочет увидеться тут, пишите или ловите у постеров. 👋

Вчера на Graph Learning Meets AI пришло 500+ человек! 👥👥👥

Для товарищей 🇷🇺 подписчиков не жалко выложить презентацию (в первом комментарии). Запись когда-нибудь появится на сайте нипса.

Конференции – катастрофическое количество болтовни, так что слов на телеграм-канал почти не осталось. 🪦

Так что без лишних слов закину в комментарии постеры с первых трех сессий, которые мне приглянулись. Говорю сразу – LLM и RLя не будет. 🙅‍♂️

Загрузил в комментарии к предыдущему посту интересные постеры с сегодняшней постер сессии нипса.

Для подпищеков выкладываю эксклюзивное 🎩 превью постера, который мы презентуем прямо сейчас (#825, если кто на нипсе) для статьи Graph Clustering with Graph Neural Networks.

Постерные сессии на нипсе немного гигантские – и это только один из двух залов. 📈

Фланировать, фоткая постеры для дорогих подпищеков, у меня занимало полтора часа – почти не оставалось времени на то, чтобы поговорить с авторами. Со многими и не получилось – около интересных постеров часто стояло по 20 человек. 👥👥👥

В таких условиях приходится придумывать, чем выделяться (ну не статьи интерсные писать, право же). Вроде, вчера получилось – явно многие люди в сообществе не в восторге от резкого поворота в сторону LLMок.

источник видео

Выпустили первую стабильную версию Tensorflow-GNN 1.0! 🎅

TF-GNN – библиотека для графовых нейросеток, которая ориентирована на гетерогенные графы и суровый продакшн. Для этого релиза я работал над алгоритмами обучением без учителя и метриками из нашей статьи. Так, чтоб в проде было хорошо, стабильно 🇷🇺, приятно.

Из забавного – прямо перед выпуском нам сильно вставил палки в колёса керас своей версией 3.0, которая резко оборвала обратную совместимость, а заодно и поддержку нашей библиотеки, забив на релизный цикл TensorFlow и правила релизов в гугле. Я бы за такое давал по жопе, но кто ж меня спрашивает. 😛

Почему сети выучивают базисы Фурье?
или эмерджентность неприводимых представлений 🤤

В последние несколько лет стало модным использование симметрий 👥 данных для построение более эффективных моделей (en. inductive biases; обзорная статья на Кванте; перевод). Например, в моделировании климата удобно рассматривать Землю как единичную сферу – погода будет функцией, задающейся двумя координатами вместо трёх для Эвклидового пространства.

В моих любимых графах симметрии активно используются для моделирования молекул – например, для предсказания межатомных взаимодействий модели стоит быть эквивариантной по E(3). Использование симметрий позволяет значительно снизить количество параметров, стабилизирует процесс тренировки и улучшает генерализацию 📈. Но это немного спорно – недавние результаты говорят о том, что подходы, которые не ограничивают модель эквивариантностью, могут выбивать метрики лучше. В любом случае, всех заинтересовавшихся отправляю в мини-книжку Бронштейна. 📃

Известно, что фильтры свёрточных сетей для обработки изображений очень напоминают по форме фильтры Габора, соответствующие активациям в зрительных долях макак. Как так получается? 🧐

Недавно вышедшая статья “Harmonics of Learning: Universal Fourier Features Emerge in Invariant Networks” делает шаг в объяснении этого феномена. Для некоторого класса нейросетей (например, биспектральных с ICLR’23) если функция f с ортонормальными весами W инвариантна по входу к какому-либо действию группы G, веса выражаются через коэффициенты преобразования Фурье этой группы. Другая теорема показывает, что из весов W можно восстановить таблицу группы G. 👌

Судя по всему, для моделирования систем с симметриями достаточно обучить сеть на достаточном количестве данных, показывая симметрию на обучающих примерах, ну а дальше уже learning goes brr 📈. Получается математическое обоснование для Bitter Lesson, который говорит о том, что методы, опирающиеся на увеличение вычислений, выигрывают в гонках систем машинного обучения. 😭

31 декабря – традиционное время рефлексировать весь положенный на год час. 🎅

2023 стал годом помешательства на генеративной МЛьщине – большие языковые модели 🫃, стартапы-обёртки над OpenAI API 📈, диффузионные модели, генерирующие целых четыре интерполированных кадра, лангчейн 😈, и другие сносящие крышу изобретения человечества.

Этот канал был для меня экспериментом на весь год. Мне очень тяжело что-то писать – я всегда очень тревожусь за написанное, что там будут ошибки и вообще все мои мнения неправильные и неадекватные 🗑. Так что тому, что две тыщи человек собралось посмотреть на мои высеры страдания потуги, я несказанно рад. ☺️

Товарищам подписчикам 🇷🇺 желаю создавать космолёты и не отвлекаться на сиюминутные THIS IS HUGE. Если у вас в организме дефицит новогоднего настроения, рекомендую смотреть, пока не накроет. 🎅🎅🎅