Открылысь заявки на Student Researchers, Ph.D. level в наш уютный Google Research. Student Researchers – стажировки для Ph.D. первых нескольких лет, которые хотят себя попробовать в индустриальной лабе. 🤓

Очень Важно™ подаваться на стажировки прям на самом открытии – так вы сильно увеличиваете шанс на попадание 📈. Дополнительно поможет подаваться во все интересующие страны, ну и озаботиться получением реферала, конечно же.

В этом году мне дали research intern – чуть более опытного Ph.D. ближе к выпуску. Как co-host я успел поработать с двумя студентами-исследователями, и разницы в программах для них особо не заметил.

Удачи с подачами! ❤️

Наткнулся на миленький гайд по преодолению тревожности в занятиях математикой. Несколько пунктов, которые мне показались интересными:

1. Люди не делятся на “математиков” и “не-математиков”. Ей можно заниматься или не заниматься.

2. В школе и университете мы привыкли заниматься математикой на скорость – решать тесты и задачи на время. В реальной жизни редко когда важна скорость решения задачи (если вы не в хеджфонде работаете, конечно 📈).

3. Мы часто думаем, что в математике, в отличие от гуманитарных наук, есть только два типа ответов: правильный и неправильные. На самом деле, прийти к правильному ответу можно множеством разных путей. 💡

Мне кажется, в России особенно токсичное отношение к “чистоте” математики. Как вы с этим справляетесь, дорогие читатели?

Пока мудрые мысли меня не посещают, ловите немудрую. 🤤

Вернувшись из октябрьской Москвы обнаружил, что жить, когда на тебя светит солнце, намного легче и приятнее. Приятнее не из-за всяких там витаминов Д, а будто на базовом психическом уровне мы так и остались цветочками-пирожочками, тянущимся к солнцу.

Посмотрел на распределение солнечных часов в трёх городах, где я пожил достаточно долго – и точно, Нью-Йорк чуть ли не в три раза солнечнее зимой, чем Берлин. Москва зимой – это отдельный вид серых будней. Дубай не показываю, потому что там я на улицу днём почти не выходил. Всё-таки климат – не солнышком единым. 😎

Вот такой фактор выбора места дли жизни, который вам не покажут на numbeo. Интересно, есть настолько прямое влияние погоды на характер, или "Россия для грустных" – это совпадение? 🤔

Сегодня у товарища Хинтона вышло интервью в New Yorker (доступно без пэйволла). В отличие от всякой технической журналистики (не будем показывать пальцем), интервью вышло литературным и человечно-добрым. ❤️

Я очень не люблю смотреть видео, а вот чтение – то, что надо. Раз уж рекламирую вам Нью-Йоркер, который я читаю почти каждый день, самое время рассказать про ещё пару классных сайтов с около-научным контентом.

1. Aeon (я читаю только раздел эссе) публикует эссе от около-академиков о философии, науке, истории и искусстве. Там можно узнать, почему английский язык такой странный или почему не стоит сравнивать мозг с компьютером. 🤓

EDIT: Подписчик добавил, что статью про компьютенционализм раскритиковал бы 🗡 любой уважающий себя нейроучёный. В целом, там действительно больше фриков, чем на кванте, но фрики в целом полезны обществу, да и учиться критиковать их полезно.

У Aeon’а есть отдельный сайт про психологию – Psyche с фокусом на психологию и этику. Например, там можно найти толковый гайд про то, как бороться с синдромом самозванца.

2. Quanta много пишет про передовые исследования в естественных науках и компуктер саенсе. Примеры статей:
🙌 "New Proof Shows That ‘Expander’ Graphs Synchronize"
😏 "Complexity Theory’s 50-Year Journey to the Limits of Knowledge"

Quanta поддерживается клёвыми Simons foundation – если не слышали, они поддерживают несколько исследовательских центров в США, создали Flatiron Institute в Нью-Йорке, и вообще максимально эффективно спонсируют науку.

Меж тем, гугл выпустил новый бренд шоколадок (техрепорт). 😛

Тем временем, я пытаюсь успеть доделать постеры к нипсу. Буду там развлекать людей почти каждый день, но интересные постеры и доклады буду стараться закидывать сюда по вечерам.

Прилетел на NeurIPS в Новый Орлеан. Все соседи смотрели что-то про LLMки, подозреваю, что не-учёных будет на конференции рекордное количество. 👥

У меня плотненькое 💪 расписание на неделю:
* Сегодня у нас expo talk "Graph learning meets artificial intelligence" в час дня.
* Во вторник демо около стойки гугла "Embedding Large Graphs" в 15.20.
* В среду Google Faculty Luncheon и Google party вечером. 😎
* В четверг на вечерней сессии мой постер к статье "Graph Clustering with Graph Neural Networks".
* В пятницу воркшоп New Frontiers in Graph Learning – у меня там ещё одна статейка, на архиве выйдет в понедельник.

P.S. Если кто-то хочет увидеться тут, пишите или ловите у постеров. 👋

Вчера на Graph Learning Meets AI пришло 500+ человек! 👥👥👥

Для товарищей 🇷🇺 подписчиков не жалко выложить презентацию (в первом комментарии). Запись когда-нибудь появится на сайте нипса.

Конференции – катастрофическое количество болтовни, так что слов на телеграм-канал почти не осталось. 🪦

Так что без лишних слов закину в комментарии постеры с первых трех сессий, которые мне приглянулись. Говорю сразу – LLM и RLя не будет. 🙅‍♂️

Загрузил в комментарии к предыдущему посту интересные постеры с сегодняшней постер сессии нипса.

Для подпищеков выкладываю эксклюзивное 🎩 превью постера, который мы презентуем прямо сейчас (#825, если кто на нипсе) для статьи Graph Clustering with Graph Neural Networks.

Постерные сессии на нипсе немного гигантские – и это только один из двух залов. 📈

Фланировать, фоткая постеры для дорогих подпищеков, у меня занимало полтора часа – почти не оставалось времени на то, чтобы поговорить с авторами. Со многими и не получилось – около интересных постеров часто стояло по 20 человек. 👥👥👥

В таких условиях приходится придумывать, чем выделяться (ну не статьи интерсные писать, право же). Вроде, вчера получилось – явно многие люди в сообществе не в восторге от резкого поворота в сторону LLMок.

источник видео

Выпустили первую стабильную версию Tensorflow-GNN 1.0! 🎅

TF-GNN – библиотека для графовых нейросеток, которая ориентирована на гетерогенные графы и суровый продакшн. Для этого релиза я работал над алгоритмами обучением без учителя и метриками из нашей статьи. Так, чтоб в проде было хорошо, стабильно 🇷🇺, приятно.

Из забавного – прямо перед выпуском нам сильно вставил палки в колёса керас своей версией 3.0, которая резко оборвала обратную совместимость, а заодно и поддержку нашей библиотеки, забив на релизный цикл TensorFlow и правила релизов в гугле. Я бы за такое давал по жопе, но кто ж меня спрашивает. 😛

Почему сети выучивают базисы Фурье?
или эмерджентность неприводимых представлений 🤤

В последние несколько лет стало модным использование симметрий 👥 данных для построение более эффективных моделей (en. inductive biases; обзорная статья на Кванте; перевод). Например, в моделировании климата удобно рассматривать Землю как единичную сферу – погода будет функцией, задающейся двумя координатами вместо трёх для Эвклидового пространства.

В моих любимых графах симметрии активно используются для моделирования молекул – например, для предсказания межатомных взаимодействий модели стоит быть эквивариантной по E(3). Использование симметрий позволяет значительно снизить количество параметров, стабилизирует процесс тренировки и улучшает генерализацию 📈. Но это немного спорно – недавние результаты говорят о том, что подходы, которые не ограничивают модель эквивариантностью, могут выбивать метрики лучше. В любом случае, всех заинтересовавшихся отправляю в мини-книжку Бронштейна. 📃

Известно, что фильтры свёрточных сетей для обработки изображений очень напоминают по форме фильтры Габора, соответствующие активациям в зрительных долях макак. Как так получается? 🧐

Недавно вышедшая статья “Harmonics of Learning: Universal Fourier Features Emerge in Invariant Networks” делает шаг в объяснении этого феномена. Для некоторого класса нейросетей (например, биспектральных с ICLR’23) если функция f с ортонормальными весами W инвариантна по входу к какому-либо действию группы G, веса выражаются через коэффициенты преобразования Фурье этой группы. Другая теорема показывает, что из весов W можно восстановить таблицу группы G. 👌

Судя по всему, для моделирования систем с симметриями достаточно обучить сеть на достаточном количестве данных, показывая симметрию на обучающих примерах, ну а дальше уже learning goes brr 📈. Получается математическое обоснование для Bitter Lesson, который говорит о том, что методы, опирающиеся на увеличение вычислений, выигрывают в гонках систем машинного обучения. 😭

31 декабря – традиционное время рефлексировать весь положенный на год час. 🎅

2023 стал годом помешательства на генеративной МЛьщине – большие языковые модели 🫃, стартапы-обёртки над OpenAI API 📈, диффузионные модели, генерирующие целых четыре интерполированных кадра, лангчейн 😈, и другие сносящие крышу изобретения человечества.

Этот канал был для меня экспериментом на весь год. Мне очень тяжело что-то писать – я всегда очень тревожусь за написанное, что там будут ошибки и вообще все мои мнения неправильные и неадекватные 🗑. Так что тому, что две тыщи человек собралось посмотреть на мои высеры страдания потуги, я несказанно рад. ☺️

Товарищам подписчикам 🇷🇺 желаю создавать космолёты и не отвлекаться на сиюминутные THIS IS HUGE. Если у вас в организме дефицит новогоднего настроения, рекомендую смотреть, пока не накроет. 🎅🎅🎅

Минутка ностальгии: вышла мажорная версия 1.7 дополнения HotA к Героям 3. Это – результат работы на протяжении более 10 лет, в последней версии появился целый новый город со своей кампанией, разработчики понёрфили Луну 😎 и призывы каках. У меня аж олдскулы свело. 👴

Скачать можно вот тут, а полный ченджлог посмотреть тут.

Задумался 🤪, что в прошлом году использование слова "AI" перестало быть (анти-)шибболетом для обнаружения ИИнфоцыган. Если пару лет назад называть машинное обучение искуственным интеллектом было максимально зашкварно, огромный приток денег быстренько заглушил у людей чувство кринжа. 📈

В любом сообществе людей появляются фразы для опознания "своих" от "чужих". Из-за того, что контента слишком много, приходится пользоваться дешёвыми эвристиками вместо нормальной оценки экспертности. Из фраз, намекающих на довольно поверхностное знания машинки, мне вспомнились:
📊 "корреляция ≠ каузация" по поводу и без
🦜 "LLM это стохастические попугаи"
🤴 "мл это просто набор if-ов"
👴 "мл это просто модная статистика"

И заодно мини-детектор буллшита из околоайти
😛 "no/low code"
🤑 "web3"

Какие ещё знаете подобные примеры? 🤔

Встретил довольно убедительный график про работу сердечно-сосудистой системы. Если хотите к 65 ходить по холмам 💪, стоит задуматься о поднятии максимального потребления кислорода мышцами (VO₂ max, меряется всякими фитнес-трекерами).

Источник – книжка Outlive. Видимо, придётся читать. 📃

2024 только начался, а номинацию "стартап года" досрочно выиграл Impulse. Продукт хардварный – электрическая плита на LiFePO4 батарейках (таких же, как в электрокарах).
Это позволяет существенно (>5 раз по сравнению с газом) увеличить пиковую теплоотдачу – кому не хочется пельменей в пять раз быстрее? Ребята также отлично поработали над UI и сделали магнитные ручки для управления температурой, чтобы поверхность легко было чистить. Выглядит отлично – настоящий Apple design, а не вот этот ваш Vision Pro. 😎

Под капотом не только инженерная инновация. Как система на батареях, она подпадает под 30% федеральный налоговый возврат и несколько других программ на уровне разных штатов. Бизнес-модель, когда чуть ли не половину стоимости продукта оплачивает государство, очень привлекательная. 🎩

Что особенно приятно, у Impulse есть конкретное видение того, куда всё пойдёт дальше – они собираются пилить экосистему домашних электроприборов с встроенными батареями. Если многие домохозяйства установят подобные батареи у себя дома, батареи смогут питать большинство потребления в течение дня и существенно снизится общая нагрузка на энергосистему, а пользователям будет удобнее и дешевле.

Машинное обучение на графах в 2024

Миша Галкин (который ведёт канал @graph_ml) и Майкл Бронштейн опросили 30 экспертов по графам и написали обзорный пост “Graph & Geometric ML in 2024” про графовое машинное обучение. Я написал для него секцию про свои любимые Очень Большие Графы. ✨

Получилось две здоровые части – первая рассказывает про подвижки в теории графовых нейросетей, их робастность, новые архитектуры графовых трансформеров, математику для более сложных чем графы объектов, новые датасеты, и, конечно, топ лучших графовых мемов за 2023. 🍿

Вторая часть получилась больше практической. В ней рассказываем про применения графов в биологии, материаловедении и химии; обсуждаем генеративные модели, Очень Большие Графы 🥁, алгоритмический reasoning, графы знаний, LLMки 🙅‍♂️ + графы и обзор интересных применений графовых нейросеток. Завершается всё обзором сделок со стартапами, которые работают с графами, от авторов State of AI Report. 📈

Слабые сигналы для сложных решений

Сегодня при написании статьи на ICML я случайно процитировал одну и ту же статью так, что в списке литературы она появилась два раза подряд. Поборов висцеральное отвращение, задумался, а в чём, собственно, проблема? 🤪

В том, что, как говорится, "встречают по одёжке". В любом сообществе есть свод (часто негластных) признаков, которые используются как прокси-метрики для качества работы. В научной работе такие сигналы я чаще всего наблюдаю в оформлении статей – не зря ж мы мучаемся с латехом! 💁‍♂️

Сам я в статьях много времени уделяю качеству оформления - чуть ли не столько же, сколько основному тексту или описанию экспериментов. Выровнять таблички, переформатировать кривые бибтехи с гуглсколара, графики не напрямую из матплотлиба, а в моём любимом pgfplots. Словами Рёфна – "Beauty isn't everything. It's the only thing". 😎

Примерно поэтому же электрики, когда закручивают винты на розетках, выравнивают их вертикально. Или, например более уверенные люди выглядят более компетентными. В целом, много решений мы принимаем не исходя из объективной оценки нужного качества, а из дешёвых прокси-метрик. И живём же как-то. 🤷‍♂️