Комментарий Михаила Кацнельсона

"Меня попросили прокомментировать нобелевскую премию по физике (видимо, не столько нобелевскую премию саму по себе, сколько сопровождающий шум). Однако, почитавши ленту, я впал в полную растерянность. Как комментировать всеобщее убеждение, что воробей не птица, а Марс не планета? Читать полный курс зоологии (в первом случае) или астрономии (во втором)? Мы так не договаривались. Если «все» говорят, что машинное обучение - не физика, возникает вопрос, а что «они» понимают под физикой. Метод Монте-Карло - это физика? А ренормгруппа? Тогда почему машинное обучение не физика? Содержательно это раздел статистической физики, и проблемы машинного обучения могут изучаться теми же методами. Или есть сомнения, что это _используется_ в физике? Ну зайдите в архив, в какой-нибудь безусловно физический раздел (я проверил в cond-mat), и сделайте поиск на machine learning в названии или в абстракте. А, это используется не только в физике? Ну хорошо - а рентгеновские лучи используются в медицине, и ядерный магнитный резонанс тоже. Соответствующие явления перестают поэтому быть физикой?

В общем, не знаю, что сказать.

Важно это или не важно для физики? Ну, слушайте. Работ, за которые _можно_ дать нобелевскую премию, раз в сто больше, чем тех, за которые ее реально дают, и _всегда_ кто-то будет спрашивать, а почему дали за аттосекундную спектроскопию, а не за лазеры на свободных электронах, или почему Бете получил премию, а Пайерлс (физик примерно того же класса) нет. Это нормальные разговоры.

Возможно, и разговоры «это не физика» тоже с какой-то точки зрения нормальные, но я лично их понять не способен."

https://facebook.com/story.php?story_fbid=pfbid0mJAsERnPumJ6KjYxigYawzWms9P8xr34kHs2uRzPFDqXqas7HtzH1pWSuTXqL6K6l&id=100004887810496

А вот и от Анатолия лонгрид

Мои комментарии по выдаче нобелевки по физике 2024 года (хотя я там в тексте и нобелевку по химии поминаю, она тоже по нейросетям, но там обсуждать нечего). Две линии комментариев:
— да, глубокое обучение в его сегодняшней версии исторически появилось из исследований физиков, из математики физиков (и даю несколько ссылок на работы весьма давних лет, впрочем и современные работы тоже)
— интересная культурная ситуация, когда выпускники самых разных вузов, которые заведомо проходили курсы по физике, не понимают, почему физики присудили нобелевку людям из машинного обучения. То есть вообще не понимают ничего про первый пункт. Это вопрос современного образования как такового.

Неожиданно много, 14Кзнаков.

https://ailev.livejournal.com/1737734.html

Nathan Benaich и Air Street Capital опубликовали новый State of AI Report 2024 (https://www.stateof.ai/)

Сама преза: https://docs.google.com/presentation/d/1GmZmoWOa2O92BPrncRcTKa15xvQGhq7g4I4hJSNlC0M/edit?usp=sharing

Key takeways from the 2024 Report include:

* Frontier lab performance begins to converge and proprietary models lose their edge, as the gap between GPT-4 and the rest closes. OpenAI o1 put the lab back at the top of the charts - but for how long?
* Planning and reasoning take priority in LLM research, as companies explore combining LLMs with reinforcement learning, evolutionary algorithms, and self-improvement to unlock future agentic applications.
* Foundation models demonstrate their ability to break out of language, supporting multimodal research across mathematics, biology, genomics, the physical sciences, and neuroscience.
* US sanctions have limited effects on Chinese labs’ ability to produce capable models, as a combination of stockpiles, approved hardware, smuggling, and cloud access allow them to build highly performant (V)LLMs. Meanwhile, China’s efforts to build a domestic semiconductor industry remain scrambled.
* The enterprise value of AI companies has hit $9T, as public companies experience a bull market for AI exposure. Investment in private AI companies also increased, but by an order of magnitude less, despite GenAI megarounds in the US.
* A handful of AI companies begin to generate serious revenue, including foundation model builders and start-ups working on video and audio generation. However, as models get cheaper as part of the corporate land-grab, questions around long-term sustainability go unanswered.
* The pseudo-acquisition emerges as an off-ramp for AI companies, as some companies struggle to find a viable business model as staying at the frontier proves costly.
* The existential risk discourse has cooled off, especially following the abortive coup at OpenAI. However, researchers have continued to deepen our knowledge of potential model vulnerabilities and misuse, proposing potential fixes and safeguards.

Блог: https://www.stateof.ai/2024-report-launch

Это прекрасно!

"“I was particularly fortunate to have many very clever students – much cleverer than me – who actually made things work,” said Hinton. “They’ve gone on to do great things. I’m particularly proud of the fact that one of my students fired Sam Altman.”

https://techcrunch.com/2024/10/09/after-winning-nobel-for-foundational-ai-work-geoffrey-hinton-says-hes-proud-ilya-sutskever-fired-sam-altman/

Лонгрид от Дарио

Machines of Loving Grace
How AI Could Transform the World for the Better

https://darioamodei.com/machines-of-loving-grace

Пока некоторые грозили ядерной бомбардировкой датацентров, ядерные технологии пришли туда изнутри.

На днях Гугл подписал контракт с Kairos Power на покупку энергии от их ядерных реакторов (SMR), до этого Microsoft договорился с Constellation Energy о покупке энергии в течение 20 лет с восстанавливаемого реактора на Three Mile Island, Amazon тоже не отстаёт.

Акции Constellation Energy, Vistra и прочих неплохо выросли за последний год.

Не про AI (хотя...), но фото прекрасное.

Flight 5 composite
Credit: Andrew McCarthy

Julian Togelius (https://scholar.google.com/citations?user=lr4I9BwAAAAJ&hl=en) выпустил обзорную книгу про AGI в серии MIT Press Essential Knowledge

Artificial General Intelligence
https://mitpress.mit.edu/9780262549349/artificial-general-intelligence/

Откровений нет, рецепта построения AGI тоже, да и готового определения даже нет. Но зато есть хороший обзор области для тех, кто далёк от темы AI вообще. Начинается всё с исторического обзора superhuman AI, определения и измерения естественного и искусственного интеллекта, видов AGI и истории практических наработок. Услышите и про AIXI, и про open-ended learning. Но немного. Есть небольшие главы про AGI и consciousness, superintelligence и intelligence explosion, AGI and society. Несомненным достоинством книги является её незацикленность на LLM, про них тут в целом не очень много, процентов 20 от силы.

#books

Gödel Agent: A Self-Referential Agent Framework for Recursive Self-Improvement
Xunjian Yin, Xinyi Wang, Liangming Pan, Xiaojun Wan, William Yang Wang
Статья: https://arxiv.org/abs/2410.04444
Репа: https://github.com/Arvid-pku/Godel_Agent

Why did the Gödel Agent take so long to plan its road trip in its Gödel Machine?

Because its navigation system kept recursively self-improving, proving it could find a better route, but never actually getting to the destination!


Любопытная работа про эволюционирующих агентов, вдохновлённых Шмидхуберовской Машиной Гёделя (https://arxiv.org/abs/cs/0309048) 2003 года. Машина пыталась сначала формально доказать, что изменение ведёт к улучшению (что могло требовать примерно вечность), агент вместо формальных доказательств использует эмпирический фидбек из среды и просит LLM улучшить код на базе этого фидбека. По ощущению похоже на что-то типа AutoGPT, который ещё и код свой переписывает.

Идея в том, что агенты бывают разной породы. Первые, Hand-Designed Agents с самой низкой степенью свободы, следуют одной и той же полиси всё время, вне зависимости от фидбека из среды. Другие, известные как Meta-Learning Optimized Agents, имеют фиксированный алгоритм meta-learning, обновляющий их полиси по фидбеку из среды. И есть self-referential Gödel Agent, который может улучшать себя без ограничений. Технически это значит, что он обновляет и полиси, и алгоритм мета-обучения.

Для такого агента нужно задать начальные полиси и алгоритм мета-обучения. В качестве начальной полиси взята LLM с Chain-of-Thought промптом. А в качестве второго взят алгоритм, который рекурсивно запрашивает LLM для переписывания всей своей кодовой базы с учётом фидбека из среды (успешность решения задачи). При этом он может переписать и код, отвечающий за переписывание кода, поэтому он self-referential.

Агент -- это экземпляр конкретного питоновского класса (Agent), он имеет доступ к содержимому памяти питоновской среды (локальные и глобальные переменные, функции и модули) и может динамически там всё менять, включая свой код (monkey patching). Так он и эволюционирует, насколько я понял.

Для улучшения сходимости оптимизационного процесса агенту даны дополнительные тулы: 1) thinking before acting (кажется, похоже на ReAct), 2) error handling (добавлен механизм восстановления после ошибок, ибо LLM может всякого в код навставлять), 3) code running (Python и bash), 4) LLM calling (через API). Первые два дальше покажут наибольшую пользу.

Где-то в обзорах в сети проскакивало, что агент сначала проверяет, что новые изменения ведут к улучшению, и включает новый код только если они ведут, или что он делает backtrack назад к предыдущему хорошему решению в случае, когда результат оказался хуже. Но по статье этого не видно, более того, там явно есть примеры, когда результат сначала ухудшался, а потом агент таки навёрстывал. Код я посмотрел только поверхностно, и мне кажется, что ничего упомянутого тут нет и агент ориентируется только по истории. Но могу и ошибаться, так что если кто погрузится глубже и найдёт что-то интересное, расскажите. Вообще есть чувство, что всё больше обзоров начинают генериться NotebookLM или просто GPT, и оно не всегда соответствует реальности.

Потестили на бенчмарках DROP, MGSM, MMLU, GPQA. Бейзлайны из группы Hand-Designed Agents (CoT, CoT-SC, Self-Refine, LLM Debate, Step-back-Abs, Quality-Diversity, Role Assignment) и Meta-Learning Optimized Agents (Meta Agent Search).

Дефолтный гёделевский агент ограничен, ему запрещено менять модель (gpt-3.5-turbo) и у него нет доступа к интернету. Как я понял, для самоулучшения используется gpt-4o, а gpt-3.5-turbo -- для оценки уже оптимизированной полиси. Есть неограниченный вариант, которому можно фсё.

Ограниченный гёделевский агент побил всех. Где-то сильно (DROP, MGSM), а где-то лишь слегка (GPQA). В приложении есть код для найденных полиси, можно изучить, насколько далеко он ушёл от начального CoT. Неограниченный агент побил всех ещё больше, но во многих случаях за счёт перехода на более мощную модель 🙂

На полный эволюционный процесс по четырём бенчмаркам с 30 рекурсивными самоулучшениями ушло $15 (и в основном всё из-за растущей памяти с историей). Конкурирующий Meta Agent Search требовал $300.

Отдельно исследуется кейс с Game of 24. Там гёделевский агент после шести неуспешных попыток оптимизации переключился с метода на основе LLM на метод на основе поиска, переписав эту часть кода, и достиг 100% точности. В других запусках он продолжал использовать LLM, но сделал по ходу множество улучшений типа добавления верификации и прогона задачи на дополнительных данных. А ещё добавил библиотеку для лучшей трассировки ошибок, улучшил логи, убрал лишний код.

Также попробовали разные начальные полиси, не только CoT. Из интересного, более сильная полиси ведёт к лучшей сходимости, а также то, что агент c CoT после всех улучшений не превзошёл ToT. То есть типа инновации он не так хорошо придумывает.

У авторов большие планы на улучшение по различным фронтам (см. Раздел 6.1), включая множественных агентов.

Любопытная тема, наэволюционировать и рекурсивно наулучшать можно всякого…

Больше про агентов и агентные пайплайны! И про важность хорошего критика :)

К слову, рекомендую Сиолошную, там тоже много хороших разборов статей, которые не успеваю делать я.