Встретил довольно убедительный график про работу сердечно-сосудистой системы. Если хотите к 65 ходить по холмам 💪, стоит задуматься о поднятии максимального потребления кислорода мышцами (VO₂ max, меряется всякими фитнес-трекерами).

Источник – книжка Outlive. Видимо, придётся читать. 📃

2024 только начался, а номинацию "стартап года" досрочно выиграл Impulse. Продукт хардварный – электрическая плита на LiFePO4 батарейках (таких же, как в электрокарах).
Это позволяет существенно (>5 раз по сравнению с газом) увеличить пиковую теплоотдачу – кому не хочется пельменей в пять раз быстрее? Ребята также отлично поработали над UI и сделали магнитные ручки для управления температурой, чтобы поверхность легко было чистить. Выглядит отлично – настоящий Apple design, а не вот этот ваш Vision Pro. 😎

Под капотом не только инженерная инновация. Как система на батареях, она подпадает под 30% федеральный налоговый возврат и несколько других программ на уровне разных штатов. Бизнес-модель, когда чуть ли не половину стоимости продукта оплачивает государство, очень привлекательная. 🎩

Что особенно приятно, у Impulse есть конкретное видение того, куда всё пойдёт дальше – они собираются пилить экосистему домашних электроприборов с встроенными батареями. Если многие домохозяйства установят подобные батареи у себя дома, батареи смогут питать большинство потребления в течение дня и существенно снизится общая нагрузка на энергосистему, а пользователям будет удобнее и дешевле.

Машинное обучение на графах в 2024

Миша Галкин (который ведёт канал @graph_ml) и Майкл Бронштейн опросили 30 экспертов по графам и написали обзорный пост “Graph & Geometric ML in 2024” про графовое машинное обучение. Я написал для него секцию про свои любимые Очень Большие Графы. ✨

Получилось две здоровые части – первая рассказывает про подвижки в теории графовых нейросетей, их робастность, новые архитектуры графовых трансформеров, математику для более сложных чем графы объектов, новые датасеты, и, конечно, топ лучших графовых мемов за 2023. 🍿

Вторая часть получилась больше практической. В ней рассказываем про применения графов в биологии, материаловедении и химии; обсуждаем генеративные модели, Очень Большие Графы 🥁, алгоритмический reasoning, графы знаний, LLMки 🙅‍♂️ + графы и обзор интересных применений графовых нейросеток. Завершается всё обзором сделок со стартапами, которые работают с графами, от авторов State of AI Report. 📈

Слабые сигналы для сложных решений

Сегодня при написании статьи на ICML я случайно процитировал одну и ту же статью так, что в списке литературы она появилась два раза подряд. Поборов висцеральное отвращение, задумался, а в чём, собственно, проблема? 🤪

В том, что, как говорится, "встречают по одёжке". В любом сообществе есть свод (часто негластных) признаков, которые используются как прокси-метрики для качества работы. В научной работе такие сигналы я чаще всего наблюдаю в оформлении статей – не зря ж мы мучаемся с латехом! 💁‍♂️

Сам я в статьях много времени уделяю качеству оформления - чуть ли не столько же, сколько основному тексту или описанию экспериментов. Выровнять таблички, переформатировать кривые бибтехи с гуглсколара, графики не напрямую из матплотлиба, а в моём любимом pgfplots. Словами Рёфна – "Beauty isn't everything. It's the only thing". 😎

Примерно поэтому же электрики, когда закручивают винты на розетках, выравнивают их вертикально. Или, например более уверенные люди выглядят более компетентными. В целом, много решений мы принимаем не исходя из объективной оценки нужного качества, а из дешёвых прокси-метрик. И живём же как-то. 🤷‍♂️

#book_review: "Как устроен мир на самом деле" – Вацлав Смил, 2022.
[на русском; на английском]

Книги Вацлава Смила – emeritus 👴 профессора университета, прости Г-ди, Манитобы – Билл Гейтс ждёт как новых эпизодов Звёздных Войн (интересно, как БГ относится к мидквелам). В своём блоге Гейтс страстно рекомендовал эту книгу, хоть и не полностью с ней согласен.

Вацлав испытывает явный ресентимент к диванным айтишникам, которые засунули в свои облака триллионы ВВП, и сидят что-то там программируют 😛. Смил, в свою очередь, предлагает разобраться в том, как работают настоящие столпы современной цивилизации: энергия, пища, и строительство. Один из основных тезисов книги – отказаться от ископаемого топлива сложнее, чем кажется – на его производстве неявно зиждутся эти столпы. Впрочем, Смил успел обсудить много чего; думаю, каждый найдёт, с чем согласиться и с чем поспорить.

В научно-популярных книгах зачастую используется wordcel аргументация – сначала даётся идея, потом десяток жизненных анекдотов 🪢, чтобы читатель как следует интернализировал ценную мысль автора. Вацлав же – суровый чешский учёный-эрудит, поэтому предложения в книге выглядят примерно так:

About 80 percent of global ammonia production is used to fertilize crops; the rest is used to make nitric acid, explosives, rocket propellants, dyes, fibers, and window and floor cleaners. [26] With proper precautions and special equipment, ammonia can be applied directly to fields; [27] but the compound is mostly used as the indispensable feedstock for producing solid and liquid nitrogenous fertilizers. Urea, the solid fertilizer with the highest nitrogen content (46 percent), dominates. [28] Recently, it has accounted for about 55 percent of all nitrogen applied to the world’s fields, and it is widely used in Asia to support the rice and wheat harvests of China and India—the world’s two most populous nations—and to guarantee good yields in five other Asian countries with more than 100 million inhabitants. [29]”

Пост получился в двух частях – спасибо телеграму.

Вторая часть ревью (первая тут) на книгу Вацлава Смила "Как устроен мир на самом деле".

В целом, с плотностью изложения вполне можно справиться – меня же вы как-то читаете. Сложнее управиться с неявно-пессимистичными прогнозами автора – в отличие от Сан-Хранцисковых "эффективных" аккселерационистов (кто Ланда понял, в цирке не смеётся), Смил верит в логистическую кривую экономического роста. Имеет право, физику мы взламывать пока не научились. 💥

Смил постоянно повторяет, что он учёный, и прогнозы делать ему не с руки. Тем не менее, значительная часть книги посвящена сдержанному высмеиванию несбывшихся прогнозов техно-оптимистов. Наверное, такое полезно читать оголтелым венчурным капиталистам, у которых стартап по отправке картофелин по почте завтра решит проблему мирового голода. Мне кажется, стоит воспринимать пессимистичные настроения автора со здоровой долей скепсиса – всё-таки за последние годы мы стали жить лучше и веселее.

Стоит ли вообще читать книгу? Мне кажется, однозначно стоит, чтобы заземлить (зумер. потрогать траву) своё восприятие реальности. Ещё и спорить ⚔️ с людьми в интернете станет проще. Особенно эта щепотка realekonomik показана людям, работающим в далёком отрыве от настоящей экономики, то есть нам с вами 👋.

Главным бенефициаром бурного развития ИИ стала.. Ангилья? 🧐

Доходы от регистрации доменов .ai выросли в четыре раза и теперь составляют треть государственного бюджета и 20% ВВП Ангильи. Вчера вышло короткое интервью с программистом-бизнесменом, который рассказывает об интересном решении оставить контроль над доменной зоной в государстве.

Прошло почти два месяца с моего поста, и мы наконец выпустили официальный блог-пост про релиз TensorFlow-GNN 1.0 в рисёрч-блоге и блоге TensorFlow. За это время успели пофиксить пару багов совместимости (спасибо керасу), так что попробовать графовые сеточки стало ещё проще. Для самых нетерпеливых – ссылка на GitHub. 👆

Рассказал на мл-митапе в нашей деревне про графы и то, как их варим. ☕️

Получился краткий сэйлс-питч и рассказ "по верхам" про мою работу за последний около-год. Дорогим подпищекам из других деревень прилагаю почти все слайды, без LLM-вишенки. Такое – только лично.

Let Your Graph Do the Talking: Encoding Structured Data for LLMs
[arXiv]

Что мы делаем в 2024? Правильно, засовываем всё, что плохо лежит 🗑, в большие языковые модели. У нас в команде плохо лежат графы, так что в нашей новой статье они отправляются напрямую в PaLM2. 👮‍♂️

Конечно, граф нужно как-то закодировать. У коллег была статья на ICLR'24 (или будет? конференция-то будет в мае), где граф трансформируют в текст простыми способами: как список вершин и рёбер. Вместо этого мы бахнули графовую нейросетку, которая трансформирует граф в набор токенов, которые кормятся LLMке. Поскольку нам хотелось полностью погрузиться в LLM-безумие, напрямую от задачи графовая сетка градиенты не получает – только через языковую модель. Назвали модель GraphToken. 👌

Поскольку мы работаем с графами, мы можем сгенерировать их все. На 8 вершинах существует 11117 связных графов, вот на них мы и тестировались. Тестсет – так уж на все точки пространства – чего мелочиться. ✨

В статье мы показываем, что GraphToken умудряется генерализоваться как in-distribution с 1000 тренировочных примеров, так и out-of-distribution – на новые задачи, очень слабо связанные с предыдущими.

P.S. в названии – отсылка к песне Aerosmith. 😎

Выпускаешь LLM-статью.
Ожидание: слава, богатство, ашиндекс под сотню. 👀

Реальность: от тебя отказываются экс-соавторы. 😮‍💨

29 февраля и 1 марта в нашей деревне пройдёт Learning on Graphs NYC meetup (анонс). В этот раз слово “деревня” я использую почти буквально, ведь любителям графов придётся переплыть через Гудзон, в Джерси-сити. ✝️

Я расскажу про побольше рисёрча и закину пару баек из прода. Если кто ещё не решился заниматься графами, приходите, будем переубеждать. 🦯

На просторах интернета набрёл на список неожиданных эпонимов и немного офигел. Из примеров:
· MySQL
· Debian
· Taco Bell
· Mars
· German chocolate cake
· Baker's Chocolate

Все названы в честь основателей. Особенно нельзя доверять вещам, связанным с шоколадом. Очень проклято. 🤬

Альтернативные раскладки клавиатуры

Эргономика – это штука, про которую почему-то мало говорят. А есть про что! Пару недель назад я начал замечать боль в пястно-фаланговом суставе мизинца, так что пришлось пройти экспресс-курс про эргономичную печать. В кроличью нору я залез по пятки, так что трамва подвезла контента дорогим подписчикам аж на несколько постов. 👆

Началось всё в конце 19 века с изобретением механической печатной машинки. Раскладку QWERTY – да-да, той, который мы пользуемся по сей день, можно увидеть в одном из оригинальных патентов. Кстати, популярная теория о том, что QWERTY была специально разработана для того, чтобы не заедали соседние буквы, скорее всего неверна (хотя коэволюция хард- и софтвера интересна всегда). Тем не менее, на QWERTY крайне неудобно печатать 🤬– очень часто приходится водить одним пальцем туда-сюда. Это называется same-finger bigrams, или SFB. Для примера попробуйте набрать слово `aluminum` – на QWERTY это делать очень больно. Наверное, можно придумать что-то получше. 💡

В славном 1936, когда Чёрч придумал лямбда-исчисление, а вся Европа съехалась на олимпийские игры в нацистской Германии, Август (не путать с Антонином) Дворак, профессор психологии, разрабатывает и патентует одноимённую раскладку. Это была первая попытка оптимизировать раскладку научным методом – Дворак много изучал распределения сочетаний букв (насколько было тогда возможно) и физиологию рук. Получилось неплохо, но рыночную конкуренцию с QWERTY выиграть так и не удалось.

С компьютеризацией всё больше возрастает число бездельников профессиональных стучателей клавишами. Colemak был создан в 2006 году Шаем Коулманом с целью быть безболезненной заменой QWERTY – например, все сочетания клавиш (Ctrl+Z,C,V) в Colemak такие же, как в QWERTY. С раскладки Colemak началась эра машинно-оптимизированных раскладок, коих сейчас существует множество – есть даже сабреддит /r/KeyboardLayouts, где и происходит сота-рисёрч. О метриках, оптимизации и прочем задротстве я расскажу уже в следующей серии. Успехов в наборе! ⌨️

Сегодня изучаю правила подачи налогов в США на сайте IRS. 📃

Из интересного там есть:

Illegal activities

. Income from illegal activities, such as money from dealing illegal drugs, must be included in your income on Schedule 1 (Form 1040), line 8z, or on Schedule C (Form 1040) if from your self-employment activity.

Stolen property

. If you steal property, you must report its fair market value in your income in the year you steal it, unless in the same year you return it to its rightful owner.

Bribes

. If you receive a bribe, include it in your income.

Можно подумать, зачем IRS отчитываться о полученных взятках, доходах от продажи наркотиков (включив, конечно же, в правильную форму, если вы продавали их на фрилансе!) и украденном добре? 🤔

Ответ довольно прост (попробуйте догадаться сами) – чтобы при недостаточном количестве других улик можно было посадить за уклонение от уплаты налогов. Аль Капоне в своё время посадили за уклонение от уплаты налогов. 👮‍♂️

Так что платим налоги и не совершаем преступлений, дорогие подпищеки. А если будете совершать, мне не рассказывайте. ✨

#book_review: "Moral Mazes" – Robert Jackall, 1988.
[на английском]

Выбери любую книгу по менеджменту с полки книжного магазина и она окажется нормативной. "Как заставить людей работать?" Бить. "Как менеджерить миллениалов?" Через тикток. И так далее. Moral mazes, в отличие от этой ценной (если застряли в лесу, а Verbascum thapsus под рукой не оказалось) литературы – книга социологическая, изучающая менеджеров как отдельную касту людей.

Джакал рассматривает тёмную сторону 🌚менеджмента – патронаж, отказ от принятия решений, сбрасывание ответственности и присвоение себе признания за любые успехи бизнеса.🤴 Неудивительно, что книга любима хактивистом Аароном Шварцем и популярна в среде т.н. рационалистов.

Материал к книге собирался в серии глубинных интервью на протяжении нескольких лет в (анонимизированных) производственных компаниях – химической и ткацкой – и паре более мелких. Автор скрупулёзно разбирает вопросы, свойственные менеджерской системе, которые, например, выливаются в омерзительные медиа-стратегии. Пример из книги – отрицание существования биссиноза. 😮‍💨

Из минусов – у Джакала не получилось написать простую книгу. Если кто-то любить читать сурово-академическую гуманитарную литературу, проблем не будет, если нет – придётся потеть. Приведу отрывок:

In short, bureaucracy creates for managers a Calvinist world without a Calvinist God, a world marked with the same profound anxiety that characterized the old Protestant ethic but one stripped of that ideology’s comforting illusions. Bureaucracy poses for managers an intricate set of moral mazes that are paradigmatic of the quandaries of public life in our social order. Within this framework, the puzzle for many individual managers becomes: How does one act in such a world and maintain a sense of personal integrity?

Как обитателю 🦠 корпорации, в которой менеджмент наконец-то взял под контроль инженеров, мне книга показалась очень ценной. Любителям почитать про карьеру первые 3-4 главы, или хотя бы краткое содержание в HBR, прочитать однозначно стоит.

На днях Adrian Dumitrescu
опубликовал препринт статьи “A Strongly Subcubic Combinatorial Algorithm for Triangle Detection with Applications”. Это довольно удивительный теоретический результат, где существенно ускоряется то, что интуитивно ускоряться не должно: поиск треугольника в графе. Как модно в последние годы, алгоритм вероятностный, но это не мешает порушить сразу несколько гипотез, на которых полагалась куча статей:

- the O(n^7/3) runtime surpasses the long-standing fastest algorithm for triangle detection based on matrix multiplication running in O(n^ω)=O(n^2.372) time, due to Itai and Rodeh (1978).
- the O(m^4/3) runtime surpasses the long-standing fastest algorithm for triangle detection in sparse graphs based on matrix multiplication running in O(m^2ω/(ω+1))=O(m^1.407) time due to Alon, Yuster, and Zwick (1997).
- the O(n^7/3) time algorithm for triangle detection leads to a O(n^(25/9)logn) time combinatorial algorithm for n×n Boolean matrix multiplication, by a reduction of V. V. Williams and R. R. Williams (2018).This invalidates a conjecture of A. Abboud and V. V. Williams (FOCS 2014).
- the O(m^4/3) runtime invalidates a conjecture of A. Abboud and V. V. Williams (FOCS 2014) that any combinatorial algorithm for triangle detection requires m3/2−o(1) time.
- as a direct application of the triangle detection algorithm, we obtain a faster exact algorithm for the k-clique problem, surpassing an almost 40 years old algorithm of Nešetřil and Poljak (1985). This result strongly disproves the combinatorial k-clique conjecture.
- as another direct application of the triangle detection algorithm, we obtain a faster exact algorithm for the Max-Cut problem, surpassing an almost 20 years old algorithm of R. R. Williams (2005).

Если результат подтвердится, существенно подвинутся по сложности алгоритмы, которые основаны на булевом перемножении матриц. Запасаемся попкорном на следующие FOCS/STOC. 🍿


EDIT: похоже, в статье всё-таки есть проблемы, прекрасного будущего не ожидается. 😟

Мне интересно тестировать большие языковые модели на теоретическом компьютерсаенсе. Для этой статьи Clause 3 Opus корректно находит ошибку в алгоритме, если подсказать, где искать. У людей пока выходит лучше, но то, что модель вообще смогла найти ошибку, очень воодушевляет! 💪