красивое )

В сингулярности, в которую провалились, становится не сразу понятно что перед глазами: очередной новый андроид на этой неделе или новая генеративная модель.

2025-й, видимо, можно считать зарёй эры андроидов.

Ещё один стартап, ещё один андроид. Модель Adam от PNDbotics.

Diffusion of Thoughts: Chain-of-Thought Reasoning in Diffusion Language Models
https://arxiv.org/abs/2402.07754

Вводят Diffusion of Thought (DoT) для параллельного выполнения шагов CoT в диффузной модели. DoT улучшает самокоррекцию, устраняя накопление ошибок в рассуждениях.

X

Теперь он побежал.

* от человеческой походки до прыжков через голову прошёл месяц, до бега - пара недель. сингулярность

И этот побежал.

поцелуй мой блестящий зад

Зачем бежать, на велике быстрее.

Lingxi X2 от AgiBot.

Self-Improving Transformers Overcome Easy-to-Hard and Length Generalization Challenges
https://arxiv.org/abs/2502.01612
https://www.alphaxiv.org/overview/2502.01612

Трансформер улучшает себя на арифметических задачах в работе с большими числами. Ключевая техника: Majority Voting.

Majority Voting: The authors train multiple models with different random seeds and retain only the outputs where a majority of models agree, providing a form of ensemble-based quality control without human supervision.

How to explain grokking
https://arxiv.org/abs/2412.18624

В статье предлагается термодинамическое объяснение гроккинга. Обобщение происходит в две фазы: меморизация (оверфит) и гроккинг.

В фазе меморизации градиентный спуск приводит к оверфиту, это обязательное условие. Здесь решение попадает в многообразие нулевого риска (zero-risk manifold) с низкой энтропией.

В фазе отсроченной генерализации (гроккинг) решение посредством броуновского движения диффундирует по многообразию в сторону областей с большей энтропией.

Практические следствия

Длительность фазы гроккинга равна квадрату фазы меморизации. Это следствие исследования пространства броуновским движением.

Наблюдается экспоненциальный рост времени гроккинга с уменьшением обучающей выборки. Следствие, увеличение размера обучающей выборки приводит к уменьшению времени до гроккинга.

Рекомендую вначале прочесть пересказ статьи, вкладка blog на https://www.alphaxiv.org/overview/2412.18624

Ходячий от Xpeng Motors.

Unitree G1 пошёл в магаз.