Sparse Hash AI
Pika Additions https://x.com/pika_labs
This media is not supported in your browser
VIEW IN TELEGRAM
Новый инструмент от Pika - Pikaswaps.
Sparse Hash AI
SE01
This media is not supported in your browser
VIEW IN TELEGRAM
EngineAI, модель PM01
* всего через месяц после нашумевшей походки модели SE01
* всего через месяц после нашумевшей походки модели SE01
A Percolation Model of Emergence: Analyzing Transformers Trained on a Formal Language
https://arxiv.org/abs/2408.12578
X
Обнаружено, что в динамике обучения модели есть фазы, где модель неожиданно приобретает способности, соответствующие более узким задачам.
В "точке эмерджентности" (фазовый переход) модель приобретает общие структуры, которые помогают в освоении конкретных, более узких способностей; приобретение таких структур приводит к внезапному повышению производительности при выполнении нескольких задач (часто с некоторой задержкой).
https://arxiv.org/abs/2408.12578
X
Обнаружено, что в динамике обучения модели есть фазы, где модель неожиданно приобретает способности, соответствующие более узким задачам.
В "точке эмерджентности" (фазовый переход) модель приобретает общие структуры, которые помогают в освоении конкретных, более узких способностей; приобретение таких структур приводит к внезапному повышению производительности при выполнении нескольких задач (часто с некоторой задержкой).
Sparse Hash AI
A Percolation Model of Emergence: Analyzing Transformers Trained on a Formal Language https://arxiv.org/abs/2408.12578 X Обнаружено, что в динамике обучения модели есть фазы, где модель неожиданно приобретает способности, соответствующие более узким задачам.…
Обратил внимание на Concept Propagation Matrix (CPM).
(𝐃𝐃ᵀ)⁽ⁿ⁾𝐃
, где 𝐃 - Concept Density Matrix
Если в формуле внимания отбросить проекции 𝐗 в запросы, ключи и значения, то получится CPM первого порядка, n = 1.
(𝐗𝐗ᵀ)𝐗
Следовательно можно предположить, что в активностях стримов 𝐗 кодируется двудольный граф из отношений сущностей (концепций) и их свойств.
И, соответственно, во внимании происходит перколяция, граф заполняется новыми связями, отсутствующими в неполных данных.
(𝐃𝐃ᵀ)⁽ⁿ⁾𝐃
, где 𝐃 - Concept Density Matrix
Если в формуле внимания отбросить проекции 𝐗 в запросы, ключи и значения, то получится CPM первого порядка, n = 1.
(𝐗𝐗ᵀ)𝐗
Следовательно можно предположить, что в активностях стримов 𝐗 кодируется двудольный граф из отношений сущностей (концепций) и их свойств.
И, соответственно, во внимании происходит перколяция, граф заполняется новыми связями, отсутствующими в неполных данных.
This media is not supported in your browser
VIEW IN TELEGRAM
GamingAgent: Computer gaming agents that run on your PC and laptops.
https://github.com/lmgame-org/GamingAgent
X
https://github.com/lmgame-org/GamingAgent
X
🔥1
Forwarded from Алексей
Решил проверить свою гипотезу.
Хотя, как говорил выше, внимание может быть только первого порядка, рассмотрим вариант и для больших порядков.
Итерационное произведение 𝐃𝐃ᵀ приводит к взрыву. Как вариант обернуть, как в ванильном внимании, софтмаксом по колонкам.
𝐓 = (𝑠𝑜𝑓𝑡𝑚𝑎𝑥(𝐃𝐃ᵀ))⁽ⁿ⁾
Тестовый пример
Два предложения:
1. МАША ЕСТ КАШУ ПОТОМУ ЧТО ОНА ВКУСНАЯ
2. МАША ЕСТ КАШУ ПОТОМУ ЧТО ОНА ГОЛОДНАЯ
Сущность ОНА в зависимости от наличия слов ВКУСНАЯ и ГОЛОДНАЯ должна быть связана сильнее либо с КАШУ либо с МАША, соответственно.
Строим Concept Density Matrix (см. картинку) из неполных связей.
Каждому предложению ставим в соответствие свою CDM-матрицу "запроса": 𝐐1 и 𝐐2.
Считаем результирующие матрицы для каждого предложения:
Как видно, сущность ОНА имеет разную силу связи с сущностями КАШУ и МАША в зависимости от контекста ВКУСНАЯ и ГОЛОДНАЯ.
Хотя, как говорил выше, внимание может быть только первого порядка, рассмотрим вариант и для больших порядков.
Итерационное произведение 𝐃𝐃ᵀ приводит к взрыву. Как вариант обернуть, как в ванильном внимании, софтмаксом по колонкам.
𝐓 = (𝑠𝑜𝑓𝑡𝑚𝑎𝑥(𝐃𝐃ᵀ))⁽ⁿ⁾
Тестовый пример
Два предложения:
1. МАША ЕСТ КАШУ ПОТОМУ ЧТО ОНА ВКУСНАЯ
2. МАША ЕСТ КАШУ ПОТОМУ ЧТО ОНА ГОЛОДНАЯ
Сущность ОНА в зависимости от наличия слов ВКУСНАЯ и ГОЛОДНАЯ должна быть связана сильнее либо с КАШУ либо с МАША, соответственно.
Строим Concept Density Matrix (см. картинку) из неполных связей.
Каждому предложению ставим в соответствие свою CDM-матрицу "запроса": 𝐐1 и 𝐐2.
Считаем результирующие матрицы для каждого предложения:
M1 = T(D, 1) @ Q1
M2 = T(D, 1) @ Q2
Как видно, сущность ОНА имеет разную силу связи с сущностями КАШУ и МАША в зависимости от контекста ВКУСНАЯ и ГОЛОДНАЯ.
This media is not supported in your browser
VIEW IN TELEGRAM
https://manus.im/
X
The popular AI agent "Manus" launched in China is automating about 50 tasks, and the scenario is too dystopian.
It's said to be more accurate than DeepSeek.
It can simultaneously perform SNS analysis, financial transactions, research, purchasing, and more.
X
This media is not supported in your browser
VIEW IN TELEGRAM
В сингулярности, в которую провалились, становится не сразу понятно что перед глазами: очередной новый андроид на этой неделе или новая генеративная модель.
🔥2👍1
Модель Vega от стартапа Dexmate разработана всего за полгода, $90K в предзаказе.
https://shop.dexmate.ai/
https://shop.dexmate.ai/
🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
2025-й, видимо, можно считать зарёй эры андроидов.
Ещё один стартап, ещё один андроид. Модель Adam от PNDbotics.
Ещё один стартап, ещё один андроид. Модель Adam от PNDbotics.
👍2