TensorLLM: Tensorising Multi-Head Attention for Enhanced Reasoning and Compression in LLMs
https://arxiv.org/abs/2501.15674
Метод улучшения рассуждений LLM через денойсинг и сжатие весов MHA. Достигаемая степень сжатия весов до 250 раз. Всё это без необходимости в дополнительных данных, обучении или тюнинге.
https://arxiv.org/abs/2501.15674
Метод улучшения рассуждений LLM через денойсинг и сжатие весов MHA. Достигаемая степень сжатия весов до 250 раз. Всё это без необходимости в дополнительных данных, обучении или тюнинге.
🔥2
Forwarded from Алексей
Обучение без изменения весов
Ошибку предсказания следующего токена err распространим назад в указанную на картинке точку через матрицу 𝐖qkᵀ, то есть умножим ошибку на 𝐖qk, получим вектор 𝐕bp.
𝐕bp = err • 𝐖qk
Если вектор добавить в контекст 𝐗, конкатенировать, то это сработает как если бы сделали апдейт весов матрицы внимания 𝐖qk.
𝐗 = concat(𝐗, err • 𝐖qk)
На повторное предъявление входа 𝑥, в стриме будет вектор "выученного" следующего токена.
Ошибку предсказания следующего токена err распространим назад в указанную на картинке точку через матрицу 𝐖qkᵀ, то есть умножим ошибку на 𝐖qk, получим вектор 𝐕bp.
𝐕bp = err • 𝐖qk
Если вектор добавить в контекст 𝐗, конкатенировать, то это сработает как если бы сделали апдейт весов матрицы внимания 𝐖qk.
𝐗 = concat(𝐗, err • 𝐖qk)
На повторное предъявление входа 𝑥, в стриме будет вектор "выученного" следующего токена.
Forwarded from Алексей
Sparse Hash AI
https://habr.com/ru/companies/smartengines/articles/879088/
Прикольно как в альтернативной записи скалярного произведения входного вектора с весами исчезает интерпретация "взвешивания входа".
С этой "логарифмической" позиции это не взвешивание, а суммирование входа с весами.
С этой "логарифмической" позиции это не взвешивание, а суммирование входа с весами.
OmniHuman-1: Rethinking the Scaling-Up of One-Stage Conditioned Human Animation Models
https://omnihuman-lab.github.io/
https://omnihuman-lab.github.io/
This media is not supported in your browser
VIEW IN TELEGRAM
ELEGNT: Expressive and Functional Movement Design for Non-anthropomorphic Robot
https://arxiv.org/abs/2501.12493
https://arxiv.org/abs/2501.12493
❤1
Language Models Use Trigonometry to Do Addition
https://www.lesswrong.com/posts/E7z89FKLsHk5DkmDL/language-models-use-trigonometry-to-do-addition-1
https://arxiv.org/abs/2502.00873
https://x.com/thesubhashk/status/1887138694546788556
Для сложения чисел LLM кодирует их на спирали с разным периодом (2, 5, 10, 100). Алгоритму дали название "Clock algorithm".
MLP первой половины трансформера кодируют сумму на спирали, MLP второй половины декодируют результат в токен.
Как и в других похожих исследованиях внимание здесь занимается тем, что копирует операнды (числа) в стрим токена '=', с которым уже MLP проводят операции.
https://www.lesswrong.com/posts/E7z89FKLsHk5DkmDL/language-models-use-trigonometry-to-do-addition-1
https://arxiv.org/abs/2502.00873
https://x.com/thesubhashk/status/1887138694546788556
Для сложения чисел LLM кодирует их на спирали с разным периодом (2, 5, 10, 100). Алгоритму дали название "Clock algorithm".
MLP первой половины трансформера кодируют сумму на спирали, MLP второй половины декодируют результат в токен.
Как и в других похожих исследованиях внимание здесь занимается тем, что копирует операнды (числа) в стрим токена '=', с которым уже MLP проводят операции.
🔥1
Better & Faster Large Language Models via Multi-token Prediction
https://arxiv.org/abs/2404.19737
Голова трансформера способна из стрима вытаскивать не только следующий токен, но и токены в k-ой позиции.
В работе к телу трансформера прикрутили ещё несколько голов, которые делают Multi-token Prediction.
https://arxiv.org/abs/2404.19737
Голова трансформера способна из стрима вытаскивать не только следующий токен, но и токены в k-ой позиции.
В работе к телу трансформера прикрутили ещё несколько голов, которые делают Multi-token Prediction.
❤2
Маск предложил совету директоров OpenAI продать компанию за $97,4 млрд
https://habr.com/ru/news/881262/
https://habr.com/ru/news/881262/
Хабр
Маск предложил совету директоров OpenAI продать компанию за $97,4 млрд
Илон Маск с группой инвесторов предложил совету директоров OpenAI продать ему компанию за $97,4 млрд. Маск был соучредителем OpenAI вместе с Сэмом Альтманом и ушёл из компании в 2018 году. Ранее Маск...
This media is not supported in your browser
VIEW IN TELEGRAM
Unitree сделала апгрейд своему андроиду G1.
Можно сравнить с моделью H1, которая выступала на фестивале всего пару недель назад, и с самим G1 месяц назад.
Можно сравнить с моделью H1, которая выступала на фестивале всего пару недель назад, и с самим G1 месяц назад.
👍1🔥1
Media is too big
VIEW IN TELEGRAM
It's a collection of shots mostly using Midjourney Niji to Luma Ray 2, image to video. Audio from MMAudio and Suno.
X
This media is not supported in your browser
VIEW IN TELEGRAM
Protoclone
200 степеней свободы, более 1000 "Myofibers" (мускульных приводов) и 500 сенсоров.
https://www.clonerobotics.com/
https://x.com/clonerobotics
200 степеней свободы, более 1000 "Myofibers" (мускульных приводов) и 500 сенсоров.
https://www.clonerobotics.com/
https://x.com/clonerobotics