GamingAgent: Computer gaming agents that run on your PC and laptops.
https://github.com/lmgame-org/GamingAgent

X

Решил проверить свою гипотезу.

Хотя, как говорил выше, внимание может быть только первого порядка, рассмотрим вариант и для больших порядков.

Итерационное произведение 𝐃𝐃ᵀ приводит к взрыву. Как вариант обернуть, как в ванильном внимании, софтмаксом по колонкам.

𝐓 = (𝑠𝑜𝑓𝑡𝑚𝑎𝑥(𝐃𝐃ᵀ))⁽ⁿ⁾

Тестовый пример

Два предложения:

1. МАША ЕСТ КАШУ ПОТОМУ ЧТО ОНА ВКУСНАЯ
2. МАША ЕСТ КАШУ ПОТОМУ ЧТО ОНА ГОЛОДНАЯ

Сущность ОНА в зависимости от наличия слов ВКУСНАЯ и ГОЛОДНАЯ должна быть связана сильнее либо с КАШУ либо с МАША, соответственно.

Строим Concept Density Matrix (см. картинку) из неполных связей.

Каждому предложению ставим в соответствие свою CDM-матрицу "запроса": 𝐐1 и 𝐐2.

Считаем результирующие матрицы для каждого предложения:

M1 = T(D, 1) @ Q1
M2 = T(D, 1) @ Q2

Как видно, сущность ОНА имеет разную силу связи с сущностями КАШУ и МАША в зависимости от контекста ВКУСНАЯ и ГОЛОДНАЯ.

красивое )

В сингулярности, в которую провалились, становится не сразу понятно что перед глазами: очередной новый андроид на этой неделе или новая генеративная модель.

2025-й, видимо, можно считать зарёй эры андроидов.

Ещё один стартап, ещё один андроид. Модель Adam от PNDbotics.

Diffusion of Thoughts: Chain-of-Thought Reasoning in Diffusion Language Models
https://arxiv.org/abs/2402.07754

Вводят Diffusion of Thought (DoT) для параллельного выполнения шагов CoT в диффузной модели. DoT улучшает самокоррекцию, устраняя накопление ошибок в рассуждениях.

X

Теперь он побежал.

* от человеческой походки до прыжков через голову прошёл месяц, до бега - пара недель. сингулярность

И этот побежал.