Маск предложил совету директоров OpenAI продать компанию за $97,4 млрд
https://habr.com/ru/news/881262/
https://habr.com/ru/news/881262/
Хабр
Маск предложил совету директоров OpenAI продать компанию за $97,4 млрд
Илон Маск с группой инвесторов предложил совету директоров OpenAI продать ему компанию за $97,4 млрд. Маск был соучредителем OpenAI вместе с Сэмом Альтманом и ушёл из компании в 2018 году. Ранее Маск...
This media is not supported in your browser
VIEW IN TELEGRAM
Unitree сделала апгрейд своему андроиду G1.
Можно сравнить с моделью H1, которая выступала на фестивале всего пару недель назад, и с самим G1 месяц назад.
Можно сравнить с моделью H1, которая выступала на фестивале всего пару недель назад, и с самим G1 месяц назад.
👍1🔥1
Media is too big
VIEW IN TELEGRAM
It's a collection of shots mostly using Midjourney Niji to Luma Ray 2, image to video. Audio from MMAudio and Suno.
X
This media is not supported in your browser
VIEW IN TELEGRAM
Protoclone
200 степеней свободы, более 1000 "Myofibers" (мускульных приводов) и 500 сенсоров.
https://www.clonerobotics.com/
https://x.com/clonerobotics
200 степеней свободы, более 1000 "Myofibers" (мускульных приводов) и 500 сенсоров.
https://www.clonerobotics.com/
https://x.com/clonerobotics
This media is not supported in your browser
VIEW IN TELEGRAM
Компания 1X Technologies представила NEO Gamma — гуманоидного робота нового поколения, предназначенного для домашнего использования.
Отличается походкой, похожей на человеческую, улучшенной манипуляцией объектами и мягкой, безопасной конструкцией. Собственная программа LLM от 1X обеспечивает естественное общение.
https://www.1x.tech/?=latest
X
Отличается походкой, похожей на человеческую, улучшенной манипуляцией объектами и мягкой, безопасной конструкцией. Собственная программа LLM от 1X обеспечивает естественное общение.
https://www.1x.tech/?=latest
X
Sparse Hash AI
Pika Additions https://x.com/pika_labs
This media is not supported in your browser
VIEW IN TELEGRAM
Новый инструмент от Pika - Pikaswaps.
Sparse Hash AI
SE01
This media is not supported in your browser
VIEW IN TELEGRAM
EngineAI, модель PM01
* всего через месяц после нашумевшей походки модели SE01
* всего через месяц после нашумевшей походки модели SE01
A Percolation Model of Emergence: Analyzing Transformers Trained on a Formal Language
https://arxiv.org/abs/2408.12578
X
Обнаружено, что в динамике обучения модели есть фазы, где модель неожиданно приобретает способности, соответствующие более узким задачам.
В "точке эмерджентности" (фазовый переход) модель приобретает общие структуры, которые помогают в освоении конкретных, более узких способностей; приобретение таких структур приводит к внезапному повышению производительности при выполнении нескольких задач (часто с некоторой задержкой).
https://arxiv.org/abs/2408.12578
X
Обнаружено, что в динамике обучения модели есть фазы, где модель неожиданно приобретает способности, соответствующие более узким задачам.
В "точке эмерджентности" (фазовый переход) модель приобретает общие структуры, которые помогают в освоении конкретных, более узких способностей; приобретение таких структур приводит к внезапному повышению производительности при выполнении нескольких задач (часто с некоторой задержкой).
Sparse Hash AI
A Percolation Model of Emergence: Analyzing Transformers Trained on a Formal Language https://arxiv.org/abs/2408.12578 X Обнаружено, что в динамике обучения модели есть фазы, где модель неожиданно приобретает способности, соответствующие более узким задачам.…
Обратил внимание на Concept Propagation Matrix (CPM).
(𝐃𝐃ᵀ)⁽ⁿ⁾𝐃
, где 𝐃 - Concept Density Matrix
Если в формуле внимания отбросить проекции 𝐗 в запросы, ключи и значения, то получится CPM первого порядка, n = 1.
(𝐗𝐗ᵀ)𝐗
Следовательно можно предположить, что в активностях стримов 𝐗 кодируется двудольный граф из отношений сущностей (концепций) и их свойств.
И, соответственно, во внимании происходит перколяция, граф заполняется новыми связями, отсутствующими в неполных данных.
(𝐃𝐃ᵀ)⁽ⁿ⁾𝐃
, где 𝐃 - Concept Density Matrix
Если в формуле внимания отбросить проекции 𝐗 в запросы, ключи и значения, то получится CPM первого порядка, n = 1.
(𝐗𝐗ᵀ)𝐗
Следовательно можно предположить, что в активностях стримов 𝐗 кодируется двудольный граф из отношений сущностей (концепций) и их свойств.
И, соответственно, во внимании происходит перколяция, граф заполняется новыми связями, отсутствующими в неполных данных.
This media is not supported in your browser
VIEW IN TELEGRAM
GamingAgent: Computer gaming agents that run on your PC and laptops.
https://github.com/lmgame-org/GamingAgent
X
https://github.com/lmgame-org/GamingAgent
X
🔥1
Forwarded from Алексей
Решил проверить свою гипотезу.
Хотя, как говорил выше, внимание может быть только первого порядка, рассмотрим вариант и для больших порядков.
Итерационное произведение 𝐃𝐃ᵀ приводит к взрыву. Как вариант обернуть, как в ванильном внимании, софтмаксом по колонкам.
𝐓 = (𝑠𝑜𝑓𝑡𝑚𝑎𝑥(𝐃𝐃ᵀ))⁽ⁿ⁾
Тестовый пример
Два предложения:
1. МАША ЕСТ КАШУ ПОТОМУ ЧТО ОНА ВКУСНАЯ
2. МАША ЕСТ КАШУ ПОТОМУ ЧТО ОНА ГОЛОДНАЯ
Сущность ОНА в зависимости от наличия слов ВКУСНАЯ и ГОЛОДНАЯ должна быть связана сильнее либо с КАШУ либо с МАША, соответственно.
Строим Concept Density Matrix (см. картинку) из неполных связей.
Каждому предложению ставим в соответствие свою CDM-матрицу "запроса": 𝐐1 и 𝐐2.
Считаем результирующие матрицы для каждого предложения:
Как видно, сущность ОНА имеет разную силу связи с сущностями КАШУ и МАША в зависимости от контекста ВКУСНАЯ и ГОЛОДНАЯ.
Хотя, как говорил выше, внимание может быть только первого порядка, рассмотрим вариант и для больших порядков.
Итерационное произведение 𝐃𝐃ᵀ приводит к взрыву. Как вариант обернуть, как в ванильном внимании, софтмаксом по колонкам.
𝐓 = (𝑠𝑜𝑓𝑡𝑚𝑎𝑥(𝐃𝐃ᵀ))⁽ⁿ⁾
Тестовый пример
Два предложения:
1. МАША ЕСТ КАШУ ПОТОМУ ЧТО ОНА ВКУСНАЯ
2. МАША ЕСТ КАШУ ПОТОМУ ЧТО ОНА ГОЛОДНАЯ
Сущность ОНА в зависимости от наличия слов ВКУСНАЯ и ГОЛОДНАЯ должна быть связана сильнее либо с КАШУ либо с МАША, соответственно.
Строим Concept Density Matrix (см. картинку) из неполных связей.
Каждому предложению ставим в соответствие свою CDM-матрицу "запроса": 𝐐1 и 𝐐2.
Считаем результирующие матрицы для каждого предложения:
M1 = T(D, 1) @ Q1
M2 = T(D, 1) @ Q2
Как видно, сущность ОНА имеет разную силу связи с сущностями КАШУ и МАША в зависимости от контекста ВКУСНАЯ и ГОЛОДНАЯ.