Загрузил в комментарии к предыдущему посту интересные постеры с сегодняшней постер сессии нипса.

Для подпищеков выкладываю эксклюзивное 🎩 превью постера, который мы презентуем прямо сейчас (#825, если кто на нипсе) для статьи Graph Clustering with Graph Neural Networks.

Постерные сессии на нипсе немного гигантские – и это только один из двух залов. 📈

Фланировать, фоткая постеры для дорогих подпищеков, у меня занимало полтора часа – почти не оставалось времени на то, чтобы поговорить с авторами. Со многими и не получилось – около интересных постеров часто стояло по 20 человек. 👥👥👥

В таких условиях приходится придумывать, чем выделяться (ну не статьи интерсные писать, право же). Вроде, вчера получилось – явно многие люди в сообществе не в восторге от резкого поворота в сторону LLMок.

источник видео

Выпустили первую стабильную версию Tensorflow-GNN 1.0! 🎅

TF-GNN – библиотека для графовых нейросеток, которая ориентирована на гетерогенные графы и суровый продакшн. Для этого релиза я работал над алгоритмами обучением без учителя и метриками из нашей статьи. Так, чтоб в проде было хорошо, стабильно 🇷🇺, приятно.

Из забавного – прямо перед выпуском нам сильно вставил палки в колёса керас своей версией 3.0, которая резко оборвала обратную совместимость, а заодно и поддержку нашей библиотеки, забив на релизный цикл TensorFlow и правила релизов в гугле. Я бы за такое давал по жопе, но кто ж меня спрашивает. 😛

Почему сети выучивают базисы Фурье?
или эмерджентность неприводимых представлений 🤤

В последние несколько лет стало модным использование симметрий 👥 данных для построение более эффективных моделей (en. inductive biases; обзорная статья на Кванте; перевод). Например, в моделировании климата удобно рассматривать Землю как единичную сферу – погода будет функцией, задающейся двумя координатами вместо трёх для Эвклидового пространства.

В моих любимых графах симметрии активно используются для моделирования молекул – например, для предсказания межатомных взаимодействий модели стоит быть эквивариантной по E(3). Использование симметрий позволяет значительно снизить количество параметров, стабилизирует процесс тренировки и улучшает генерализацию 📈. Но это немного спорно – недавние результаты говорят о том, что подходы, которые не ограничивают модель эквивариантностью, могут выбивать метрики лучше. В любом случае, всех заинтересовавшихся отправляю в мини-книжку Бронштейна. 📃

Известно, что фильтры свёрточных сетей для обработки изображений очень напоминают по форме фильтры Габора, соответствующие активациям в зрительных долях макак. Как так получается? 🧐

Недавно вышедшая статья “Harmonics of Learning: Universal Fourier Features Emerge in Invariant Networks” делает шаг в объяснении этого феномена. Для некоторого класса нейросетей (например, биспектральных с ICLR’23) если функция f с ортонормальными весами W инвариантна по входу к какому-либо действию группы G, веса выражаются через коэффициенты преобразования Фурье этой группы. Другая теорема показывает, что из весов W можно восстановить таблицу группы G. 👌

Судя по всему, для моделирования систем с симметриями достаточно обучить сеть на достаточном количестве данных, показывая симметрию на обучающих примерах, ну а дальше уже learning goes brr 📈. Получается математическое обоснование для Bitter Lesson, который говорит о том, что методы, опирающиеся на увеличение вычислений, выигрывают в гонках систем машинного обучения. 😭

31 декабря – традиционное время рефлексировать весь положенный на год час. 🎅

2023 стал годом помешательства на генеративной МЛьщине – большие языковые модели 🫃, стартапы-обёртки над OpenAI API 📈, диффузионные модели, генерирующие целых четыре интерполированных кадра, лангчейн 😈, и другие сносящие крышу изобретения человечества.

Этот канал был для меня экспериментом на весь год. Мне очень тяжело что-то писать – я всегда очень тревожусь за написанное, что там будут ошибки и вообще все мои мнения неправильные и неадекватные 🗑. Так что тому, что две тыщи человек собралось посмотреть на мои высеры страдания потуги, я несказанно рад. ☺️

Товарищам подписчикам 🇷🇺 желаю создавать космолёты и не отвлекаться на сиюминутные THIS IS HUGE. Если у вас в организме дефицит новогоднего настроения, рекомендую смотреть, пока не накроет. 🎅🎅🎅

Минутка ностальгии: вышла мажорная версия 1.7 дополнения HotA к Героям 3. Это – результат работы на протяжении более 10 лет, в последней версии появился целый новый город со своей кампанией, разработчики понёрфили Луну 😎 и призывы каках. У меня аж олдскулы свело. 👴

Скачать можно вот тут, а полный ченджлог посмотреть тут.

Задумался 🤪, что в прошлом году использование слова "AI" перестало быть (анти-)шибболетом для обнаружения ИИнфоцыган. Если пару лет назад называть машинное обучение искуственным интеллектом было максимально зашкварно, огромный приток денег быстренько заглушил у людей чувство кринжа. 📈

В любом сообществе людей появляются фразы для опознания "своих" от "чужих". Из-за того, что контента слишком много, приходится пользоваться дешёвыми эвристиками вместо нормальной оценки экспертности. Из фраз, намекающих на довольно поверхностное знания машинки, мне вспомнились:
📊 "корреляция ≠ каузация" по поводу и без
🦜 "LLM это стохастические попугаи"
🤴 "мл это просто набор if-ов"
👴 "мл это просто модная статистика"

И заодно мини-детектор буллшита из околоайти
😛 "no/low code"
🤑 "web3"

Какие ещё знаете подобные примеры? 🤔

Встретил довольно убедительный график про работу сердечно-сосудистой системы. Если хотите к 65 ходить по холмам 💪, стоит задуматься о поднятии максимального потребления кислорода мышцами (VO₂ max, меряется всякими фитнес-трекерами).

Источник – книжка Outlive. Видимо, придётся читать. 📃

2024 только начался, а номинацию "стартап года" досрочно выиграл Impulse. Продукт хардварный – электрическая плита на LiFePO4 батарейках (таких же, как в электрокарах).
Это позволяет существенно (>5 раз по сравнению с газом) увеличить пиковую теплоотдачу – кому не хочется пельменей в пять раз быстрее? Ребята также отлично поработали над UI и сделали магнитные ручки для управления температурой, чтобы поверхность легко было чистить. Выглядит отлично – настоящий Apple design, а не вот этот ваш Vision Pro. 😎

Под капотом не только инженерная инновация. Как система на батареях, она подпадает под 30% федеральный налоговый возврат и несколько других программ на уровне разных штатов. Бизнес-модель, когда чуть ли не половину стоимости продукта оплачивает государство, очень привлекательная. 🎩

Что особенно приятно, у Impulse есть конкретное видение того, куда всё пойдёт дальше – они собираются пилить экосистему домашних электроприборов с встроенными батареями. Если многие домохозяйства установят подобные батареи у себя дома, батареи смогут питать большинство потребления в течение дня и существенно снизится общая нагрузка на энергосистему, а пользователям будет удобнее и дешевле.

Машинное обучение на графах в 2024

Миша Галкин (который ведёт канал @graph_ml) и Майкл Бронштейн опросили 30 экспертов по графам и написали обзорный пост “Graph & Geometric ML in 2024” про графовое машинное обучение. Я написал для него секцию про свои любимые Очень Большие Графы. ✨

Получилось две здоровые части – первая рассказывает про подвижки в теории графовых нейросетей, их робастность, новые архитектуры графовых трансформеров, математику для более сложных чем графы объектов, новые датасеты, и, конечно, топ лучших графовых мемов за 2023. 🍿

Вторая часть получилась больше практической. В ней рассказываем про применения графов в биологии, материаловедении и химии; обсуждаем генеративные модели, Очень Большие Графы 🥁, алгоритмический reasoning, графы знаний, LLMки 🙅‍♂️ + графы и обзор интересных применений графовых нейросеток. Завершается всё обзором сделок со стартапами, которые работают с графами, от авторов State of AI Report. 📈

Слабые сигналы для сложных решений

Сегодня при написании статьи на ICML я случайно процитировал одну и ту же статью так, что в списке литературы она появилась два раза подряд. Поборов висцеральное отвращение, задумался, а в чём, собственно, проблема? 🤪

В том, что, как говорится, "встречают по одёжке". В любом сообществе есть свод (часто негластных) признаков, которые используются как прокси-метрики для качества работы. В научной работе такие сигналы я чаще всего наблюдаю в оформлении статей – не зря ж мы мучаемся с латехом! 💁‍♂️

Сам я в статьях много времени уделяю качеству оформления - чуть ли не столько же, сколько основному тексту или описанию экспериментов. Выровнять таблички, переформатировать кривые бибтехи с гуглсколара, графики не напрямую из матплотлиба, а в моём любимом pgfplots. Словами Рёфна – "Beauty isn't everything. It's the only thing". 😎

Примерно поэтому же электрики, когда закручивают винты на розетках, выравнивают их вертикально. Или, например более уверенные люди выглядят более компетентными. В целом, много решений мы принимаем не исходя из объективной оценки нужного качества, а из дешёвых прокси-метрик. И живём же как-то. 🤷‍♂️

#book_review: "Как устроен мир на самом деле" – Вацлав Смил, 2022.
[на русском; на английском]

Книги Вацлава Смила – emeritus 👴 профессора университета, прости Г-ди, Манитобы – Билл Гейтс ждёт как новых эпизодов Звёздных Войн (интересно, как БГ относится к мидквелам). В своём блоге Гейтс страстно рекомендовал эту книгу, хоть и не полностью с ней согласен.

Вацлав испытывает явный ресентимент к диванным айтишникам, которые засунули в свои облака триллионы ВВП, и сидят что-то там программируют 😛. Смил, в свою очередь, предлагает разобраться в том, как работают настоящие столпы современной цивилизации: энергия, пища, и строительство. Один из основных тезисов книги – отказаться от ископаемого топлива сложнее, чем кажется – на его производстве неявно зиждутся эти столпы. Впрочем, Смил успел обсудить много чего; думаю, каждый найдёт, с чем согласиться и с чем поспорить.

В научно-популярных книгах зачастую используется wordcel аргументация – сначала даётся идея, потом десяток жизненных анекдотов 🪢, чтобы читатель как следует интернализировал ценную мысль автора. Вацлав же – суровый чешский учёный-эрудит, поэтому предложения в книге выглядят примерно так:

About 80 percent of global ammonia production is used to fertilize crops; the rest is used to make nitric acid, explosives, rocket propellants, dyes, fibers, and window and floor cleaners. [26] With proper precautions and special equipment, ammonia can be applied directly to fields; [27] but the compound is mostly used as the indispensable feedstock for producing solid and liquid nitrogenous fertilizers. Urea, the solid fertilizer with the highest nitrogen content (46 percent), dominates. [28] Recently, it has accounted for about 55 percent of all nitrogen applied to the world’s fields, and it is widely used in Asia to support the rice and wheat harvests of China and India—the world’s two most populous nations—and to guarantee good yields in five other Asian countries with more than 100 million inhabitants. [29]”

Пост получился в двух частях – спасибо телеграму.

Вторая часть ревью (первая тут) на книгу Вацлава Смила "Как устроен мир на самом деле".

В целом, с плотностью изложения вполне можно справиться – меня же вы как-то читаете. Сложнее управиться с неявно-пессимистичными прогнозами автора – в отличие от Сан-Хранцисковых "эффективных" аккселерационистов (кто Ланда понял, в цирке не смеётся), Смил верит в логистическую кривую экономического роста. Имеет право, физику мы взламывать пока не научились. 💥

Смил постоянно повторяет, что он учёный, и прогнозы делать ему не с руки. Тем не менее, значительная часть книги посвящена сдержанному высмеиванию несбывшихся прогнозов техно-оптимистов. Наверное, такое полезно читать оголтелым венчурным капиталистам, у которых стартап по отправке картофелин по почте завтра решит проблему мирового голода. Мне кажется, стоит воспринимать пессимистичные настроения автора со здоровой долей скепсиса – всё-таки за последние годы мы стали жить лучше и веселее.

Стоит ли вообще читать книгу? Мне кажется, однозначно стоит, чтобы заземлить (зумер. потрогать траву) своё восприятие реальности. Ещё и спорить ⚔️ с людьми в интернете станет проще. Особенно эта щепотка realekonomik показана людям, работающим в далёком отрыве от настоящей экономики, то есть нам с вами 👋.

Главным бенефициаром бурного развития ИИ стала.. Ангилья? 🧐

Доходы от регистрации доменов .ai выросли в четыре раза и теперь составляют треть государственного бюджета и 20% ВВП Ангильи. Вчера вышло короткое интервью с программистом-бизнесменом, который рассказывает об интересном решении оставить контроль над доменной зоной в государстве.

Прошло почти два месяца с моего поста, и мы наконец выпустили официальный блог-пост про релиз TensorFlow-GNN 1.0 в рисёрч-блоге и блоге TensorFlow. За это время успели пофиксить пару багов совместимости (спасибо керасу), так что попробовать графовые сеточки стало ещё проще. Для самых нетерпеливых – ссылка на GitHub. 👆

Рассказал на мл-митапе в нашей деревне про графы и то, как их варим. ☕️

Получился краткий сэйлс-питч и рассказ "по верхам" про мою работу за последний около-год. Дорогим подпищекам из других деревень прилагаю почти все слайды, без LLM-вишенки. Такое – только лично.

Let Your Graph Do the Talking: Encoding Structured Data for LLMs
[arXiv]

Что мы делаем в 2024? Правильно, засовываем всё, что плохо лежит 🗑, в большие языковые модели. У нас в команде плохо лежат графы, так что в нашей новой статье они отправляются напрямую в PaLM2. 👮‍♂️

Конечно, граф нужно как-то закодировать. У коллег была статья на ICLR'24 (или будет? конференция-то будет в мае), где граф трансформируют в текст простыми способами: как список вершин и рёбер. Вместо этого мы бахнули графовую нейросетку, которая трансформирует граф в набор токенов, которые кормятся LLMке. Поскольку нам хотелось полностью погрузиться в LLM-безумие, напрямую от задачи графовая сетка градиенты не получает – только через языковую модель. Назвали модель GraphToken. 👌

Поскольку мы работаем с графами, мы можем сгенерировать их все. На 8 вершинах существует 11117 связных графов, вот на них мы и тестировались. Тестсет – так уж на все точки пространства – чего мелочиться. ✨

В статье мы показываем, что GraphToken умудряется генерализоваться как in-distribution с 1000 тренировочных примеров, так и out-of-distribution – на новые задачи, очень слабо связанные с предыдущими.

P.S. в названии – отсылка к песне Aerosmith. 😎

Выпускаешь LLM-статью.
Ожидание: слава, богатство, ашиндекс под сотню. 👀

Реальность: от тебя отказываются экс-соавторы. 😮‍💨

29 февраля и 1 марта в нашей деревне пройдёт Learning on Graphs NYC meetup (анонс). В этот раз слово “деревня” я использую почти буквально, ведь любителям графов придётся переплыть через Гудзон, в Джерси-сити. ✝️

Я расскажу про побольше рисёрча и закину пару баек из прода. Если кто ещё не решился заниматься графами, приходите, будем переубеждать. 🦯

На просторах интернета набрёл на список неожиданных эпонимов и немного офигел. Из примеров:
· MySQL
· Debian
· Taco Bell
· Mars
· German chocolate cake
· Baker's Chocolate

Все названы в честь основателей. Особенно нельзя доверять вещам, связанным с шоколадом. Очень проклято. 🤬

Альтернативные раскладки клавиатуры

Эргономика – это штука, про которую почему-то мало говорят. А есть про что! Пару недель назад я начал замечать боль в пястно-фаланговом суставе мизинца, так что пришлось пройти экспресс-курс про эргономичную печать. В кроличью нору я залез по пятки, так что трамва подвезла контента дорогим подписчикам аж на несколько постов. 👆

Началось всё в конце 19 века с изобретением механической печатной машинки. Раскладку QWERTY – да-да, той, который мы пользуемся по сей день, можно увидеть в одном из оригинальных патентов. Кстати, популярная теория о том, что QWERTY была специально разработана для того, чтобы не заедали соседние буквы, скорее всего неверна (хотя коэволюция хард- и софтвера интересна всегда). Тем не менее, на QWERTY крайне неудобно печатать 🤬– очень часто приходится водить одним пальцем туда-сюда. Это называется same-finger bigrams, или SFB. Для примера попробуйте набрать слово `aluminum` – на QWERTY это делать очень больно. Наверное, можно придумать что-то получше. 💡

В славном 1936, когда Чёрч придумал лямбда-исчисление, а вся Европа съехалась на олимпийские игры в нацистской Германии, Август (не путать с Антонином) Дворак, профессор психологии, разрабатывает и патентует одноимённую раскладку. Это была первая попытка оптимизировать раскладку научным методом – Дворак много изучал распределения сочетаний букв (насколько было тогда возможно) и физиологию рук. Получилось неплохо, но рыночную конкуренцию с QWERTY выиграть так и не удалось.

С компьютеризацией всё больше возрастает число бездельников профессиональных стучателей клавишами. Colemak был создан в 2006 году Шаем Коулманом с целью быть безболезненной заменой QWERTY – например, все сочетания клавиш (Ctrl+Z,C,V) в Colemak такие же, как в QWERTY. С раскладки Colemak началась эра машинно-оптимизированных раскладок, коих сейчас существует множество – есть даже сабреддит /r/KeyboardLayouts, где и происходит сота-рисёрч. О метриках, оптимизации и прочем задротстве я расскажу уже в следующей серии. Успехов в наборе! ⌨️