Маск предложил совету директоров OpenAI продать компанию за $97,4 млрд
https://habr.com/ru/news/881262/
https://habr.com/ru/news/881262/
Хабр
Маск предложил совету директоров OpenAI продать компанию за $97,4 млрд
Илон Маск с группой инвесторов предложил совету директоров OpenAI продать ему компанию за $97,4 млрд. Маск был соучредителем OpenAI вместе с Сэмом Альтманом и ушёл из компании в 2018 году. Ранее Маск...
This media is not supported in your browser
VIEW IN TELEGRAM
Unitree сделала апгрейд своему андроиду G1.
Можно сравнить с моделью H1, которая выступала на фестивале всего пару недель назад, и с самим G1 месяц назад.
Можно сравнить с моделью H1, которая выступала на фестивале всего пару недель назад, и с самим G1 месяц назад.
👍1🔥1
Media is too big
VIEW IN TELEGRAM
It's a collection of shots mostly using Midjourney Niji to Luma Ray 2, image to video. Audio from MMAudio and Suno.
X
This media is not supported in your browser
VIEW IN TELEGRAM
Protoclone
200 степеней свободы, более 1000 "Myofibers" (мускульных приводов) и 500 сенсоров.
https://www.clonerobotics.com/
https://x.com/clonerobotics
200 степеней свободы, более 1000 "Myofibers" (мускульных приводов) и 500 сенсоров.
https://www.clonerobotics.com/
https://x.com/clonerobotics
This media is not supported in your browser
VIEW IN TELEGRAM
Компания 1X Technologies представила NEO Gamma — гуманоидного робота нового поколения, предназначенного для домашнего использования.
Отличается походкой, похожей на человеческую, улучшенной манипуляцией объектами и мягкой, безопасной конструкцией. Собственная программа LLM от 1X обеспечивает естественное общение.
https://www.1x.tech/?=latest
X
Отличается походкой, похожей на человеческую, улучшенной манипуляцией объектами и мягкой, безопасной конструкцией. Собственная программа LLM от 1X обеспечивает естественное общение.
https://www.1x.tech/?=latest
X
Sparse Hash AI
Pika Additions https://x.com/pika_labs
This media is not supported in your browser
VIEW IN TELEGRAM
Новый инструмент от Pika - Pikaswaps.
Sparse Hash AI
SE01
This media is not supported in your browser
VIEW IN TELEGRAM
EngineAI, модель PM01
* всего через месяц после нашумевшей походки модели SE01
* всего через месяц после нашумевшей походки модели SE01
A Percolation Model of Emergence: Analyzing Transformers Trained on a Formal Language
https://arxiv.org/abs/2408.12578
X
Обнаружено, что в динамике обучения модели есть фазы, где модель неожиданно приобретает способности, соответствующие более узким задачам.
В "точке эмерджентности" (фазовый переход) модель приобретает общие структуры, которые помогают в освоении конкретных, более узких способностей; приобретение таких структур приводит к внезапному повышению производительности при выполнении нескольких задач (часто с некоторой задержкой).
https://arxiv.org/abs/2408.12578
X
Обнаружено, что в динамике обучения модели есть фазы, где модель неожиданно приобретает способности, соответствующие более узким задачам.
В "точке эмерджентности" (фазовый переход) модель приобретает общие структуры, которые помогают в освоении конкретных, более узких способностей; приобретение таких структур приводит к внезапному повышению производительности при выполнении нескольких задач (часто с некоторой задержкой).
Sparse Hash AI
A Percolation Model of Emergence: Analyzing Transformers Trained on a Formal Language https://arxiv.org/abs/2408.12578 X Обнаружено, что в динамике обучения модели есть фазы, где модель неожиданно приобретает способности, соответствующие более узким задачам.…
Обратил внимание на Concept Propagation Matrix (CPM).
(𝐃𝐃ᵀ)⁽ⁿ⁾𝐃
, где 𝐃 - Concept Density Matrix
Если в формуле внимания отбросить проекции 𝐗 в запросы, ключи и значения, то получится CPM первого порядка, n = 1.
(𝐗𝐗ᵀ)𝐗
Следовательно можно предположить, что в активностях стримов 𝐗 кодируется двудольный граф из отношений сущностей (концепций) и их свойств.
И, соответственно, во внимании происходит перколяция, граф заполняется новыми связями, отсутствующими в неполных данных.
(𝐃𝐃ᵀ)⁽ⁿ⁾𝐃
, где 𝐃 - Concept Density Matrix
Если в формуле внимания отбросить проекции 𝐗 в запросы, ключи и значения, то получится CPM первого порядка, n = 1.
(𝐗𝐗ᵀ)𝐗
Следовательно можно предположить, что в активностях стримов 𝐗 кодируется двудольный граф из отношений сущностей (концепций) и их свойств.
И, соответственно, во внимании происходит перколяция, граф заполняется новыми связями, отсутствующими в неполных данных.
This media is not supported in your browser
VIEW IN TELEGRAM
GamingAgent: Computer gaming agents that run on your PC and laptops.
https://github.com/lmgame-org/GamingAgent
X
https://github.com/lmgame-org/GamingAgent
X
🔥1
Forwarded from Алексей
Решил проверить свою гипотезу.
Хотя, как говорил выше, внимание может быть только первого порядка, рассмотрим вариант и для больших порядков.
Итерационное произведение 𝐃𝐃ᵀ приводит к взрыву. Как вариант обернуть, как в ванильном внимании, софтмаксом по колонкам.
𝐓 = (𝑠𝑜𝑓𝑡𝑚𝑎𝑥(𝐃𝐃ᵀ))⁽ⁿ⁾
Тестовый пример
Два предложения:
1. МАША ЕСТ КАШУ ПОТОМУ ЧТО ОНА ВКУСНАЯ
2. МАША ЕСТ КАШУ ПОТОМУ ЧТО ОНА ГОЛОДНАЯ
Сущность ОНА в зависимости от наличия слов ВКУСНАЯ и ГОЛОДНАЯ должна быть связана сильнее либо с КАШУ либо с МАША, соответственно.
Строим Concept Density Matrix (см. картинку) из неполных связей.
Каждому предложению ставим в соответствие свою CDM-матрицу "запроса": 𝐐1 и 𝐐2.
Считаем результирующие матрицы для каждого предложения:
Как видно, сущность ОНА имеет разную силу связи с сущностями КАШУ и МАША в зависимости от контекста ВКУСНАЯ и ГОЛОДНАЯ.
Хотя, как говорил выше, внимание может быть только первого порядка, рассмотрим вариант и для больших порядков.
Итерационное произведение 𝐃𝐃ᵀ приводит к взрыву. Как вариант обернуть, как в ванильном внимании, софтмаксом по колонкам.
𝐓 = (𝑠𝑜𝑓𝑡𝑚𝑎𝑥(𝐃𝐃ᵀ))⁽ⁿ⁾
Тестовый пример
Два предложения:
1. МАША ЕСТ КАШУ ПОТОМУ ЧТО ОНА ВКУСНАЯ
2. МАША ЕСТ КАШУ ПОТОМУ ЧТО ОНА ГОЛОДНАЯ
Сущность ОНА в зависимости от наличия слов ВКУСНАЯ и ГОЛОДНАЯ должна быть связана сильнее либо с КАШУ либо с МАША, соответственно.
Строим Concept Density Matrix (см. картинку) из неполных связей.
Каждому предложению ставим в соответствие свою CDM-матрицу "запроса": 𝐐1 и 𝐐2.
Считаем результирующие матрицы для каждого предложения:
M1 = T(D, 1) @ Q1
M2 = T(D, 1) @ Q2
Как видно, сущность ОНА имеет разную силу связи с сущностями КАШУ и МАША в зависимости от контекста ВКУСНАЯ и ГОЛОДНАЯ.
This media is not supported in your browser
VIEW IN TELEGRAM
https://manus.im/
X
The popular AI agent "Manus" launched in China is automating about 50 tasks, and the scenario is too dystopian.
It's said to be more accurate than DeepSeek.
It can simultaneously perform SNS analysis, financial transactions, research, purchasing, and more.
X