#чтивонаночь

Идея такая - давайте использовать доп голову которая будет учится и быстренько выбирать кусок который нужно подсунуть чтобы эффективнее работать с контекстом, attn принципиально не меняется, при этом метод работает для уже претренутых моделей, можно дешево доучить уже готовую LLM на 500к контекста и это будет работать.

Нормального сравнения с RoPE, alibi нету, но по памяти метод сильно эффективнее текущих

папир