А также появилась новая Gemma 3n, Matryoshka Transformer (MatFormer) для on-device deployments.

https://ai.google.dev/gemma/docs/gemma-3n

Про Gemini Diffusion.

Скорость генерации (sampling speed excluding overhead) 1479 tokens / sec!

Дождались ультры. Но не той.

250$ в месяц однако...

Также неделя креатива объявляется открытой.

* Lyria 2. Our latest music generation model (waitlist)
* Flow. AI filmmaking tool на базе новой Veo 3 (US)
* Gemini 2.5 Native audio output. Может всё-таки до ризонинга шёпотом недалеко?
* Imagen 4. Новый генератор картинок, 10x быстрее и лучше предыдущего

В семействе Gemma пополнения!

* DolphinGemma (предобучена на звуках коммуникации дельфинов) уже не новость, но всё равно прикольно. Помните Project CETI, кстати?
* SignGemma для языка жестов (в первую очередь American Sign Language)
* MedGemma для медицины
* Gemma 3n с матрёшками внутри для эффективного on-device, уже упоминали сегодня.

Кстати, бахнул авторазбор статьи про MatFormer, на базе которого матрёшечная Gemma построена. Читать тут: https://news.1rj.ru/str/gonzo_ML_podcasts/144

Свежего Бенжио вам в ленту

https://youtu.be/qe9QSCF-d88?si=Xp2zLxiKIcAkVjap

Yo!

https://www.anthropic.com/news/claude-4

Тем временем продолжаются эксперименты с автообзорами статей в канале https://news.1rj.ru/str/gonzo_ML_podcasts.

Из последнего и свежего:
* Статья от Тегмарка и ко про выучивание сильных узких моделей. Для которых правильный прунинг из большой общей модели оказывается лучше дистилляции, а в целом широкие и разнообразные данные таки нужны для более быстрого и качественного выучивания определённых навыков.
* Статья про ризонинг токены где на модельной задаче с поиском A* и лабиринтами показано, что трассировки CoT не обязательно являются достоверным отображением «рассуждений» модели, и «бессмысленные» промежуточные токены могут быть поразительно эффективны.
* Статья про механистичную оценку способностей трансформеров и SSM, показывающая что модели со схожей поведенческой производительностью могут использовать принципиально разные внутренние стратегии.

Поток статей каждый день валится огромный, всё разобрать нереально, так что буду продолжать делать это автоматически для статей, которые любопытны, но не настолько чтобы разбирать вручную. Режим вручную оставлю для самого вкусного.

Глубже — значит умнее? Или просто длиннее? Разбираемся, как языковые модели используют свои слои

В продолжение темы про mech interp в трансформерах, свежая работа Криса Маннинга и ко разбирает важность глубины трансформера и приходит к выводам, что более глубокая сеть скорее растягивает те же вычисления на большее число слоёв.

Это прикольная тема, я тоже экспериментировал с выкидыванием слоёв в LLM (можете взять код и поэкспериментировать на более новых моделях, или на более глубоких, у кого DGX под рукой есть), и в канале мы регулярно писали про подобные работы (Transformer Layers as Painters или LayerShuffle).

Ждём более умных подходов к обучению, им явно есть место!

P.S. Обновил автогенератор ревью и среди прочего пофиксил там глупую багу, из-за которой на перевод отправлялась не самая финальная версия ревью. Теперь должно стать ещё лучше, особенно это помогло в борьбе с галлюцинациями и выдумыванием ссылок. До канала такие примеры не доезжали, но проблема была регулярная.

Пока не R2, но всё же

https://huggingface.co/deepseek-ai/DeepSeek-R1-0528

Картинка подоспела

https://x.com/deepseek_ai/status/1928061589107900779?t=K2G9KvaYQP3Sz_mtWKM1DA&s=19

Поразительно, конечно, изменился рынок за пару лет. Теперь центр топового опенсорса -- Китай.

Очередная интересная статья от крутого коллектива, включающего Jeff Clune, Sakana AI и прочих. Sakana — это вообще, кажется, самая интересная лаба Азии. В очереди на разбор несколько других их свежих статей лежит. Разбирать пока некогда, как и сегодняшнюю Darwin Gödel Machine, так что пока автомат. Позже, возможно, сделаю отдельный разбор ручками.

Уже были агенты эволюционирующие (см. Gödel Agent, да и свежий AlphaEvolve тоже), теперь они ещё более эволюционирующие и open-ended. Крайне интересная тема!

Darwin Gödel Machine: Open-Ended Evolution of Self-Improving Agents
Авторы: Jenny Zhang, Shengran Hu, Cong Lu, Robert Lange, Jeff Clune
Статья: https://arxiv.org/abs/2505.22954
Код: https://github.com/jennyzzt/dgm

Поиск искусственного интеллекта, способного автономно и непрерывно совершенствовать свои возможности, подобно биологической эволюции или научным открытиям, уже давно является одной из главных нерешённых задач. Большинство современных систем ИИ, несмотря на впечатляющие достижения, работают в рамках фиксированных, разработанных человеком архитектур, что ограничивает их потенциал для неограниченного роста. В этой статье представлена Машина Дарвина-Гёделя (Darwin Gödel Machine, DGM) — новая система, призванная преодолеть это фундаментальное ограничение. DGM пытается ответить на вопрос: как системы ИИ могут бесконечно улучшать себя, одновременно становясь лучше в решении релевантных задач? Её основной вклад — это самосовершенствующийся ИИ, который итеративно модифицирует *собственную кодовую базу* и, что особенно важно, *эмпирически валидировал* эти изменения с помощью бенчмарков по программированию. Черпая вдохновение в дарвиновской эволюции, DGM поддерживает архив сгенерированных «агентов-программистов», способствуя неограниченному поиску, что позволяет ей обнаруживать разнообразные улучшения и избегать попадания в ловушки локальных пиков производительности.

DGM работает в рамках элегантного итерационного цикла. Он начинается с исходного агента-программиста, построенного на базе замороженной фундаментальной модели (FM) со способностью использовать инструменты. В каждом цикле «родительские» агенты выбираются из постоянно растущего архива. При этом отборе приоритет отдаётся агентам на основе комбинации их производительности (с использованием сигмоидального масштабирования для придания большего веса высоким оценкам) и бонуса за новизну (обратно пропорционального количеству уже произведённых ими «потомков», что поощряет исследование менее избитых путей). Затем эти родительские агенты анализируют *собственные логи оценки на бенчмарках*, чтобы диагностировать слабые места или предложить новые функции. Это предложение затем формулируется как новая постановка задачи для агента, которую он должен реализовать в своей собственной кодовой базе, генерируя «дочерних» агентов. Эти новые агенты оцениваются на бенчмарках по программированию, и успешные, функциональные варианты добавляются в архив.

Ключевое нововведение заключается в отходе от теоретической машины Гёделя, какой её концептуализировал Шмидхубер (в работе «Gödel machines: Fully self-referential optimal universal self-improvers. Artificial general intelligence, 2007»), которая требовала *доказуемых* самомодификаций — практическое препятствие для сложных ИИ. DGM прагматично выбирает *эмпирическую валидацию*. Этот выбор является основополагающим: формальные доказательства пользы произвольных изменений кода в сложных системах ИИ в значительной степени трудноосуществимы. Эмпирическое тестирование обеспечивает реальный, наблюдаемый механизм для итеративного улучшения.