Иногда хочется заморозить себя как Картман в серии южного парка про nintendo wii. Как же это может изменить мир. Скорее бы.

Scaling Transformer to 1M tokens and beyond with RMT

Парни из DeepPavlov (привет, если читаете!) на днях выпустили тех-репорт, где соорудили Recurrent Memory Transformer, который способен держать контекст в 1M токенов!

Чтобы вы понимали, ChatGPT сейчас имеет контекст в 32k токенов. А 1 миллион токенов - это несколько книг приличного размера. Теперь модель сможет держать гораздо больше информации "в голове", и например, написать эссе по целому роману, вместо того чтобы работать на маленьких отрывках.

Принцип работы похож на рекурентную сеть, где трансформер постепенно поедает куски контекста, при этом сжимая инфу из каждого куска и обновляя свое внутреннее состояние. В результате такой компресси финальный результат получается слегка хуже чем при работе с маленькими контекстами. Ну, и работает это медленно, ведь все равно придется прогнать все 1M токенов через сеть.

Однако, это интересный результат, который, вероятно, через несколько месяцев доработают и оптимизируют.

Код для BERT
Статья

@ai_newz

Штука для установки нейросетей в 1 клик. Больше не нужно смотреть туториалы по установкам где полоскают мозг.
https://civitai.com/models/27574/super-easy-ai-installer-tool
👌

Певцы ртом уже не нужны, нейросеть воскресила Фреди Меркури и заставила его спеть Beliver - Imagine Dragons

Я был в будущем и видел Сергея Масло на ЗИЛ114. А заодно вот вам лора с ЗИЛ114 https://civitai.com/models/52158/zil114

Один из разработчиков ИИ-систем получил доступ к разрабатываемому "GPT-4 32K". И вот что он узнал
🤯
"GPT-4-32K делает обычный GPT-4 выглядящим игрушкой. Вот некоторые вещи, которые он может делать:"
"Сводить в краткость и отвечать на вопросы по целой научной статье. Я буквально только что вставил всю статью в запрос. Никаких эмбеддингов не требуется."
"Принимать весь код и сопроводительную документацию и вносить изменения и улучшения. Большая длина контекста открывает новые возможности для создания мощных инструментов для разработчиков."
"Получать десятки полных статей и получать персонализированную сводку новостей за день."
"Гиперперсонализированный искусственный интеллект. Я показал ИИ множество информации обо мне и HyperWrite. Это фактически AI-версия меня! Это, вероятно, единственный случай использования, в котором эмбеддинги по-прежнему лучше (из-за стоимости и частоты использования), но в конечном итоге это изменится."
"Вы можете использовать эмбеддинги или цепную суммаризацию для многих из этих задач, но: - эмбеддинги обычно приводят к более низкому качеству и менее точному выводу, и... - цепная суммаризация гораздо менее качественна и требует больших затрат для запуска."
"Мы движемся в направлении мира с бесконечной длиной контекста. Открываются огромные новые возможности. Готовьтесь."
(Matt Shumer)