Нейросетевая Нобелевка!

BREAKING NEWS

The Royal Swedish Academy of Sciences has decided to award the 2024 #NobelPrize in Physics to John J. Hopfield and Geoffrey E. Hinton “for foundational discoveries and inventions that enable machine learning with artificial neural networks.”

https://x.com/NobelPrize/status/1843589140455272810?t=83ux2ru68oFVnk_CMtoqMA&s=19

Потрясающее количество негативных реакций на Нобелевку.

Прокомментируйте, почему?

Минутка истории. Для тех, кто забыл про связь deep learning и разной интересной физики.

Пост Анатолия Левенчука 2015-го года очень в тему:

https://ailev.livejournal.com/1197148.html

Жаль, Анатолий вышел из нашего чата, он, конечно, многое может сказать по теме и по сути.

Про RBM тоже надо будет что-нибудь хорошее найти. Новое поколение их, наверное, не застало и не знает, да и какого-то прямого выхлопа в области прямо сейчас они не имеют, но в целом energy-based models это отдельная и очень большая тема, которая вполне себе живёт.

Это всё прекрасно! Второй нейросетевой Нобель! За AlphaFold!

Мои поздравления команде!

https://www.nobelprize.org/prizes/chemistry/2024/press-release/

Комментарий Михаила Кацнельсона

"Меня попросили прокомментировать нобелевскую премию по физике (видимо, не столько нобелевскую премию саму по себе, сколько сопровождающий шум). Однако, почитавши ленту, я впал в полную растерянность. Как комментировать всеобщее убеждение, что воробей не птица, а Марс не планета? Читать полный курс зоологии (в первом случае) или астрономии (во втором)? Мы так не договаривались. Если «все» говорят, что машинное обучение - не физика, возникает вопрос, а что «они» понимают под физикой. Метод Монте-Карло - это физика? А ренормгруппа? Тогда почему машинное обучение не физика? Содержательно это раздел статистической физики, и проблемы машинного обучения могут изучаться теми же методами. Или есть сомнения, что это _используется_ в физике? Ну зайдите в архив, в какой-нибудь безусловно физический раздел (я проверил в cond-mat), и сделайте поиск на machine learning в названии или в абстракте. А, это используется не только в физике? Ну хорошо - а рентгеновские лучи используются в медицине, и ядерный магнитный резонанс тоже. Соответствующие явления перестают поэтому быть физикой?

В общем, не знаю, что сказать.

Важно это или не важно для физики? Ну, слушайте. Работ, за которые _можно_ дать нобелевскую премию, раз в сто больше, чем тех, за которые ее реально дают, и _всегда_ кто-то будет спрашивать, а почему дали за аттосекундную спектроскопию, а не за лазеры на свободных электронах, или почему Бете получил премию, а Пайерлс (физик примерно того же класса) нет. Это нормальные разговоры.

Возможно, и разговоры «это не физика» тоже с какой-то точки зрения нормальные, но я лично их понять не способен."

https://facebook.com/story.php?story_fbid=pfbid0mJAsERnPumJ6KjYxigYawzWms9P8xr34kHs2uRzPFDqXqas7HtzH1pWSuTXqL6K6l&id=100004887810496

А вот и от Анатолия лонгрид

Мои комментарии по выдаче нобелевки по физике 2024 года (хотя я там в тексте и нобелевку по химии поминаю, она тоже по нейросетям, но там обсуждать нечего). Две линии комментариев:
— да, глубокое обучение в его сегодняшней версии исторически появилось из исследований физиков, из математики физиков (и даю несколько ссылок на работы весьма давних лет, впрочем и современные работы тоже)
— интересная культурная ситуация, когда выпускники самых разных вузов, которые заведомо проходили курсы по физике, не понимают, почему физики присудили нобелевку людям из машинного обучения. То есть вообще не понимают ничего про первый пункт. Это вопрос современного образования как такового.

Неожиданно много, 14Кзнаков.

https://ailev.livejournal.com/1737734.html

Nathan Benaich и Air Street Capital опубликовали новый State of AI Report 2024 (https://www.stateof.ai/)

Сама преза: https://docs.google.com/presentation/d/1GmZmoWOa2O92BPrncRcTKa15xvQGhq7g4I4hJSNlC0M/edit?usp=sharing

Key takeways from the 2024 Report include:

* Frontier lab performance begins to converge and proprietary models lose their edge, as the gap between GPT-4 and the rest closes. OpenAI o1 put the lab back at the top of the charts - but for how long?
* Planning and reasoning take priority in LLM research, as companies explore combining LLMs with reinforcement learning, evolutionary algorithms, and self-improvement to unlock future agentic applications.
* Foundation models demonstrate their ability to break out of language, supporting multimodal research across mathematics, biology, genomics, the physical sciences, and neuroscience.
* US sanctions have limited effects on Chinese labs’ ability to produce capable models, as a combination of stockpiles, approved hardware, smuggling, and cloud access allow them to build highly performant (V)LLMs. Meanwhile, China’s efforts to build a domestic semiconductor industry remain scrambled.
* The enterprise value of AI companies has hit $9T, as public companies experience a bull market for AI exposure. Investment in private AI companies also increased, but by an order of magnitude less, despite GenAI megarounds in the US.
* A handful of AI companies begin to generate serious revenue, including foundation model builders and start-ups working on video and audio generation. However, as models get cheaper as part of the corporate land-grab, questions around long-term sustainability go unanswered.
* The pseudo-acquisition emerges as an off-ramp for AI companies, as some companies struggle to find a viable business model as staying at the frontier proves costly.
* The existential risk discourse has cooled off, especially following the abortive coup at OpenAI. However, researchers have continued to deepen our knowledge of potential model vulnerabilities and misuse, proposing potential fixes and safeguards.

Блог: https://www.stateof.ai/2024-report-launch

Это прекрасно!

"“I was particularly fortunate to have many very clever students – much cleverer than me – who actually made things work,” said Hinton. “They’ve gone on to do great things. I’m particularly proud of the fact that one of my students fired Sam Altman.”

https://techcrunch.com/2024/10/09/after-winning-nobel-for-foundational-ai-work-geoffrey-hinton-says-hes-proud-ilya-sutskever-fired-sam-altman/

Лонгрид от Дарио

Machines of Loving Grace
How AI Could Transform the World for the Better

https://darioamodei.com/machines-of-loving-grace

Пока некоторые грозили ядерной бомбардировкой датацентров, ядерные технологии пришли туда изнутри.

На днях Гугл подписал контракт с Kairos Power на покупку энергии от их ядерных реакторов (SMR), до этого Microsoft договорился с Constellation Energy о покупке энергии в течение 20 лет с восстанавливаемого реактора на Three Mile Island, Amazon тоже не отстаёт.

Акции Constellation Energy, Vistra и прочих неплохо выросли за последний год.