Обучение без изменения весов

Ошибку предсказания следующего токена err распространим назад в указанную на картинке точку через матрицу 𝐖qkᵀ, то есть умножим ошибку на 𝐖qk, получим вектор 𝐕bp.

𝐕bp = err • 𝐖qk

Если вектор добавить в контекст 𝐗, конкатенировать, то это сработает как если бы сделали апдейт весов матрицы внимания 𝐖qk.

𝐗 = concat(𝐗, err • 𝐖qk)

На повторное предъявление входа 𝑥, в стриме будет вектор "выученного" следующего токена.

Language Models Use Trigonometry to Do Addition
https://www.lesswrong.com/posts/E7z89FKLsHk5DkmDL/language-models-use-trigonometry-to-do-addition-1

https://arxiv.org/abs/2502.00873

https://x.com/thesubhashk/status/1887138694546788556

Для сложения чисел LLM кодирует их на спирали с разным периодом (2, 5, 10, 100). Алгоритму дали название "Clock algorithm".

MLP первой половины трансформера кодируют сумму на спирали, MLP второй половины декодируют результат в токен.

Как и в других похожих исследованиях внимание здесь занимается тем, что копирует операнды (числа) в стрим токена '=', с которым уже MLP проводят операции.

Pika Additions

https://x.com/pika_labs