В гибернации. Niya

Вышел BitNet v2.

BitNet v2: Native 4-bit Activations with Hadamard Transformation for 1-bit LLMs
https://arxiv.org/abs/2504.18415
https://www.alphaxiv.org/abs/2504.18415

Промежуточные состояния в слоях трансформера часто следуют распределению с высокой концентрацией значений около нуля и длинным хвостом выбросов. Ключевым нововведением в BitNet v2 является применение преобразования Адамара для изменения распределения активаций. При применении к векторам активации это преобразование обладает замечательным свойством: оно более равномерно перераспределяет значения, преобразуя резкое, склонное к выбросам распределение в более гауссоподобную форму. Это делает преобразованные значения более подходящими для низкобитового квантования.

* картинка Гистограммы, показывающие распределения активаций до и после преобразования Адамара, демонстрирующие, как преобразование создает более удобные для квантования распределения.

speeder bike

https://x.com/Volonaut

Layer by Layer: Uncovering Hidden Representations in Language Models
https://arxiv.org/abs/2502.02013
https://www.alphaxiv.org/overview/2502.02013

Промежуточные слои часто содержат более богатые и полезные представления, чем конечный слой.

The Mid-Layer Compression Valley

Одна из наиболее ярких закономерностей в моделях с авторегрессией - "долина сжатия" ("compression valley"), где энтропия резко падает в средних слоях, а затем частично восстанавливается в более поздних слоях. Эта U-образная форма проявляется во всех метриках и предполагает наличие фундаментальной стратегии обработки информации.

Долина возникает во время обучения. В начале обучения энтропия остается относительно ровной по слоям. По мере обучения средние слои развивают все более сильное сжатие. Более глубокие модели показывают более глубокие долины. Долина коррелирует с производительностью: модели с более сильными долинами сжатия, как правило, лучше справляются с задачами.

Обули.

Андроид AiMOGA от Chery Automobile.
корма тяжёлая )

Современные дипфейки в режиме реального времени с подстройкой к освещению.

Grokking in the Wild: Data Augmentation for Real-World Multi-Hop Reasoning with Transformers
https://arxiv.org/abs/2504.20752v2
https://www.alphaxiv.org/ru/overview/2504.20752

Многошаговое рассуждение требует соединения нескольких атомарных фактов в цепочку для получения новой информации. Грокнутый восьмислойный GPT-2 в задачах многошагового рассуждения способен значительно превзойти более крупные и продвинутые модели, такие как GPT-4o и O1-mini.

Необходимым условием для полной обобщаемости, возникновения грокинга, является превышение определенного критического порога для отношения между выведенными фактами и атомарными фактами.

Интересный факт: Удивительно, но расширение некорректными фактами все еще может способствовать грокингу, предполагая, что формирование схем рассуждений в некоторой степени не зависит от фактической корректности.

Оптимус деградирует.

Пока ещё это фейк.