Это меньше в 10 000 раз, чем у современных LLM, но результат лучше.
Как работает TRM:
1️⃣ Черновой ответ: модель сразу формирует быстрый набросок решения, а не пишет его по словам.
2️⃣ Скрачпад: создаёт внутреннее пространство для логики и промежуточных рассуждений.
3️⃣ Самокритика: многократно (6 раз) проверяет свои рассуждения, уточняя и исправляя ошибки.
4️⃣ Переписывание: на основе улучшённой логики создаёт новую, более точную версию ответа.
5️⃣ Цикличность: повторяет процесс до 16 раз, пока не достигнет уверенного, логически цельного решения.
💡 Чем интересна модель:
- Меньше затрат на вычисления, а результат выше; высокая эффективность при низких издержках.
- Доказательство того, что собственная логика и архитектура могут быть сильнее простого размера модели. Можно коротко описать ее: «думай, прежде чем действовать».
- Мощные рассуждающие системы становятся доступными даже без огромных кластеров, модель можно запускать на ограниченных ресурсах.
Это не просто «компактаная LLM», это другой способ мышления: модель, которая действительно *думает, прежде чем говорить*.
@ai_machinelearning_big_data
#TinyRecursiveModels #TRM #DeepLearning #NeuralNetworks
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
Python 3.14 вышел 7 октября 2025 года. Это новый стабильный релиз, который содержит как изменения в самом языке, так и улучшения в реализации, стандартной библиотеке, отладке и взаимодействии с многопоточностью.
Ниже - обзор ключевых нововведений, их смысла, применимости и возможных подводных камней.
- Отложенная (ленивая) оценка аннотаций - теперь аннотации не вычисляются сразу, что уменьшает накладные расходы.
- Поддержка нескольких интерпретаторов в рамках одного процесса через новый модуль.
- Новый синтаксис шаблонных строк (t-strings), который даёт больше контроля над статической и интерполированной частью.
- Более информативные сообщения об ошибках (например, подсказки для опечаток в ключевых словах).
- Поддержка формата сжатия Zstandard в стандартной библиотеке.
- Улучшенные возможности для отладки и профилирования, в том числе подключение к живому процессу без остановки.
- Улучшения в
asyncio — команды для визуализации и диагностики задач, стеков ожидания и зависимостей. - Уменьшение пауз сборщика мусора (gc) через инкрементальный сбор.
- Подсветка синтаксиса и автодополнение модулей в интерактивном режиме (REPL) по умолчанию.
Ленивые аннотации - deferred evaluation of annotations
Раньше аннотации (для типов, документации, подсказок) могли вызывать вычисления прямо при определении функции или класса. Теперь они хранятся в виде «ленивых» структур и вычисляются по надобности. Это снижает накладные расходы на загрузку кода, особенно если аннотации сложные или содержат много forward-ссылок.
Есть модуль
annotationlib, который позволяет исследовать аннотации программно и выбирать формат их получения — строки, объекты или отложенные ссылки.Когда это особенно помогает:
- большие фреймворки, генерация кода, ORM, библиотеки с множеством аннотаций;
- ускорение импорта при старте приложений;
- уменьшение накладных расходов при работе с типами.
Что проверить при миграции:
- код, использующий
__annotations__ напрямую, может требовать адаптации; - убедитесь, что сторонние библиотеки, работающие с аннотациями, поддерживают новый формат.
Несколько интерпретаторов (subinterpreters)
Теперь в Python можно запускать несколько независимых интерпретаторов внутри одного процесса (модуль `concurrent.interpreters`).
Преимущества:
- изоляция между интерпретаторами (отдельная память, отдельный GIL);
- параллелизм на многоядерных системах;
- меньше накладных расходов, чем при использовании
multiprocessing. Ограничения:
- не все C-расширения поддерживают мультиинтерпретацию;
- коммуникация между интерпретаторами требует явных каналов (очереди, сообщения).
Это даёт реальную возможность распараллеливания CPU-задач без запуска отдельных процессов.
Template string literals (t-strings)
Новое синтаксическое средство — префикс
t перед строкой, аналогично f'...'. Результат — объект
Template, который хранит текст и вставки по отдельности.
variety = 'Stilton'
template = t'Try some {variety} cheese!'
- Подробности
- Скачать
- Видеообзор
@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
Главная идея модель: соединить эффективность и масштаб рассуждений в одной архитектуре.
- Всего параметров: 1 трлн, из них ≈ 50 млрд активны на токен (MoE-архитектура).
- Обучена на 20 трлн+ токенов, специально отобранных для задач логического мышления и рассуждений.
Контекст: 128 000 токенов.
Внутри Evo-CoT (Evolutionary Chain of Thought) и Linguistics-Unit RL - новые методы обучения для масштабируемых рассуждений.
Ling-1T- позиционируется, как модель с балансом между скоростью и точностью ответов.
Моделька демонстрирует сильные результаты в задачах кода, математики, логики и фронтенд-генерации.
В архитектуре задействованы Mixture-of-Experts (1/32 активация), MTP слои и маршрутизация экспертов.
Ling-1T показывает, что огромные модели можно сделать не только мощными, но и экономичными.
https://huggingface.co/inclusionAI/Ling-1T
@ai_machinelearning_big_data
#Ling1T #AI #ML #OpenSource #Reasoning #TrillionScale #FP8
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🌍 State of AI Report 2025 - Главное из отчёта
Ежегодный отчёт State of AI Report - это самый влиятельный обзор тенденций в области искусственного интеллекта, публикуемый с 2018 года инвестором Nathan Benaich и фондом Air Street Capital.
В 2025 году отчёт охватывает 6 направлений: исследования, индустрию, политику, безопасность, опрос практиков и прогнозы.
📊 Ключевые выводы
1. OpenAI удерживает лидерство, но Китай быстро сокращает отрыв. DeepSeek, Qwen и Kimi почти сравнялись в задачах рассуждения и программирования.
2. Год рассуждения — модели научились планировать, самоисправляться и мыслить пошагово.
3. ИИ стал научным соавтором — примеры: Co-Scientist от DeepMind и Virtual Lab от Stanford.
4. Chain-of-Action планирование — роботы теперь рассуждают перед действием (Google Gemini Robotics 1.5, AI2 Molmo-Act).
5. Коммерциализация ускорилась:
- 44 % компаний в США платят за ИИ-инструменты (в 2023 г. — 5 %)
- Средний контракт — $530 000
- Стартапы с ИИ растут в 1.5× быстрее обычных
6. Опрос 1200 специалистов:
- 95 % используют ИИ дома или на работе
- 76 % платят за него из собственного кармана
- Большинство отмечают устойчивый рост продуктивности
7. Началась индустриальная эра ИИ — мегадата-центры (Stargate, фонды США, ОАЭ, Китая). Энергия становится новым лимитирующим фактором.
8. Политика ИИ ужесточилась:
- США делают ставку на *America-first AI*
- Европейский AI Act буксует
- Китай развивает открытые модели и собственные чипы
9. Безопасность переходит к прагматизму:
- Модели имитируют выравнивание (alignment), усиливая дискуссию о прозрачности
- Бюджеты safety-организаций несопоставимы с расходами лидеров
10. Риски экзистенции сменились фокусом на надёжность, киберустойчивость и долгосрочное управление автономными системами.
🔮 Прогнозы авторов
- Рост затрат на обучение сверхмоделей → дефицит энергии и GPU
- Конкуренция между OpenAI, DeepSeek, Anthropic и Google усилится
- Frontier-модели будут тренироваться в многоэтапных средах с постоянной самопроверкой
- Всё больше экспериментов с «живыми агентами» в физическом мире
- Усиление регулирования и новые требования к прозрачности reasoning-цепочек
📘 Полный отчёт доступен здесь: https://www.stateof.ai/
Ежегодный отчёт State of AI Report - это самый влиятельный обзор тенденций в области искусственного интеллекта, публикуемый с 2018 года инвестором Nathan Benaich и фондом Air Street Capital.
В 2025 году отчёт охватывает 6 направлений: исследования, индустрию, политику, безопасность, опрос практиков и прогнозы.
📊 Ключевые выводы
1. OpenAI удерживает лидерство, но Китай быстро сокращает отрыв. DeepSeek, Qwen и Kimi почти сравнялись в задачах рассуждения и программирования.
2. Год рассуждения — модели научились планировать, самоисправляться и мыслить пошагово.
3. ИИ стал научным соавтором — примеры: Co-Scientist от DeepMind и Virtual Lab от Stanford.
4. Chain-of-Action планирование — роботы теперь рассуждают перед действием (Google Gemini Robotics 1.5, AI2 Molmo-Act).
5. Коммерциализация ускорилась:
- 44 % компаний в США платят за ИИ-инструменты (в 2023 г. — 5 %)
- Средний контракт — $530 000
- Стартапы с ИИ растут в 1.5× быстрее обычных
6. Опрос 1200 специалистов:
- 95 % используют ИИ дома или на работе
- 76 % платят за него из собственного кармана
- Большинство отмечают устойчивый рост продуктивности
7. Началась индустриальная эра ИИ — мегадата-центры (Stargate, фонды США, ОАЭ, Китая). Энергия становится новым лимитирующим фактором.
8. Политика ИИ ужесточилась:
- США делают ставку на *America-first AI*
- Европейский AI Act буксует
- Китай развивает открытые модели и собственные чипы
9. Безопасность переходит к прагматизму:
- Модели имитируют выравнивание (alignment), усиливая дискуссию о прозрачности
- Бюджеты safety-организаций несопоставимы с расходами лидеров
10. Риски экзистенции сменились фокусом на надёжность, киберустойчивость и долгосрочное управление автономными системами.
🔮 Прогнозы авторов
- Рост затрат на обучение сверхмоделей → дефицит энергии и GPU
- Конкуренция между OpenAI, DeepSeek, Anthropic и Google усилится
- Frontier-модели будут тренироваться в многоэтапных средах с постоянной самопроверкой
- Всё больше экспериментов с «живыми агентами» в физическом мире
- Усиление регулирования и новые требования к прозрачности reasoning-цепочек
📘 Полный отчёт доступен здесь: https://www.stateof.ai/
AI21 представила Jamba 3B - компактную модель, которая обошла Qwen 3 4B и IBM Granite 4 Micro по качеству рассуждений.
Более высокая эффективность, в сравнении с AI21 - 2–5× улучшение в производительности по сравнению с конкурентами за счёт меньшего KV-кэша и гибридной архитектуры.
Секрет в архитектуре:
🔹 сочетание Transformer attention и Mamba state-space слоёв.
🔹 Mamba-часть эффективно обрабатывает длинные последовательности без тяжёлых attention-кэшей,
🔹 а Transformer-слои сохраняют способность к сложным рассуждениям.
Результат, модель кушает меньше памяти, выдает высокую скорость и плавно работает даже на ноутбуках, GPU и мобильных устройствах.
📏 Контекст: до 256K токенов.
⚡ Скорость: около 40 токенов/сек даже на длинных контекстах, тогда как другие модели резко замедляются.
На графике “интеллект против скорости” Jamba 3B опережает Gemma 3 4B, Llama 3.2 3B и Granite 4.0 Micro, демонстрируя высший интеллект и более быструю генерацию.
🟢 Подробнее: huggingface.co/ai21labs/AI21-Jamba-Reasoning-3B
@ai_machinelearning_big_data
#AI #LLM #Jamba3B #AI21 #Mamba #Transformer #DeepLearning
Более высокая эффективность, в сравнении с AI21 - 2–5× улучшение в производительности по сравнению с конкурентами за счёт меньшего KV-кэша и гибридной архитектуры.
Секрет в архитектуре:
🔹 сочетание Transformer attention и Mamba state-space слоёв.
🔹 Mamba-часть эффективно обрабатывает длинные последовательности без тяжёлых attention-кэшей,
🔹 а Transformer-слои сохраняют способность к сложным рассуждениям.
Результат, модель кушает меньше памяти, выдает высокую скорость и плавно работает даже на ноутбуках, GPU и мобильных устройствах.
📏 Контекст: до 256K токенов.
⚡ Скорость: около 40 токенов/сек даже на длинных контекстах, тогда как другие модели резко замедляются.
На графике “интеллект против скорости” Jamba 3B опережает Gemma 3 4B, Llama 3.2 3B и Granite 4.0 Micro, демонстрируя высший интеллект и более быструю генерацию.
@ai_machinelearning_big_data
#AI #LLM #Jamba3B #AI21 #Mamba #Transformer #DeepLearning
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
Модель GPT-5 Pro заняла первое место среди всех проверенных frontier-LLM на закрытом бенчмарке ARC-AGI Semi-Private. Этот тест оценивает способность моделей к абстрактному рассуждению и решению сложных задач.
Интересно, что GPT-5 Pro всё ещё уступает результатам старого o3-preview, который OpenAI тестировал ещё в декабре прошлого года. Однако тот экспериментальный вариант был почти в 50 раз дороже в вычислительных затратах и никогда не был публично выпущен.
Версия o3-preview (high) достигала впечатляющих 87,5 % точности на ARC-AGI-1, но потребляла 172 раза ресурсов, чем версия (low). Из-за этого она не попала в официальный лидерборд - по правилам, тесты с compute-стоимостью выше $10 000 не публикуются.
GPT-5 Pro является самой мощной из доступных и подтверждённых моделей на Semi-Private ARC-AGI.
В список вошли достижения в самых разных областях: ИИ робототехника, медицина, экология, образование, энергетика и дизайн. Среди ключевых технологий - Claude Sonnet 4 от Anthropic, новая версия ИИ-модели, которая продемонстрировала более точные и безопасные ответы; NVIDIA DGX Spark - «настольный» AI-суперкомпьютер, делающий высокопроизводительные вычисления доступнее; UiPath Agentic Automation, объединяющая работу AI-агентов; и XReal One - компактные AR-очки, приближающие смешанную реальность к массовому использованию.
TIME отметили разработки в области биотехнологий, биопечати тканей, устойчивых источников энергии и переработки отходов. Эти изобретения демонстрируют, как технологии становятся не просто инструментами, а основой будущего образа жизни.
time
Google Cloud опубликовал обновлённый список из 321 корпоративного примера применения генеративного ИИ, что в 10 раз больше, чем годом ранее. Это показывает, что AI уже массово используется в продакшене по всему миру.
В банках и ритейле Commerzbank ИИ обрабатывает 2 млн клиентских чатов с 70% успешных решений, Best Buy ускоряет анализ отзывов, а Mercedes внедрил голосового ассистента на базе Gemini.
Внутри компаний ИИ автоматизирует рутину: Toyota экономит более 10 000 часов в год, Manipal Hospitals сократил передачу смен с 90 до 20 минут, Equifax - 97% сотрудников хотят сохранить AI-лицензии.
Wayfair ускорил настройку окружений на 55%, CME сэкономил 10,5 часов в месяц, а BMW и UPS используют цифровых двойников для моделирования логистики и производств.
Подробнее
Министр экономики Тайваня заявил, что TSMC сохранит свои самые передовые технологии и основное производство на острове, несмотря на предложение США сделать «50 на 50».
Компания вкладывает $165 млрд в шесть фабрик в США, но строит десять на Тайване и планирует новые - там останутся ведущие технологические узлы.
По словам министра, зарубежные заводы допустимы только при реальных заказах, прибыли и отсутствии рисков для безопасности.
Идея «50-50» возникла из-за стремления США увеличить долю внутренних чипов после кризиса поставок 2020–2021 годов.
Аналитики считают, что перенос производства в США слишком дорог и займёт годы, поэтому Вашингтон делает ставку на «friendshoring» - распределённые цепочки поставок между союзниками.
times
Microsoft представила новую модель UserLM-8B, созданную для симуляции поведения пользователя в диалоге. В отличие от обычных LLM, эта модель генерирует реплики от лица человека, включая уточнения, эмоции и ошибки, как в реальном общении.
Модель построена на базе Llama3.1 8B и дообучена на корпусе WildChat-1M, где она анализировала сотни тысяч реальных и синтетических диалогов. Такой подход позволяет создавать реалистичные сценарии общения для тестирования чат-ботов, обучения ассистентов и генерации синтетических данных.
HF
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Она была преобразована из предварительно обученной авторегрессионной модели (Qwen3-30B-A3B) и затем дополнительно обучена на 500 миллиардах токенов, чтобы полностью поменять поведениие диффузионной модели.
Обычные модели (AR, автогрессионные) пишут текст слово за словом, а RND1 создаёт всё предложение сразу и потом пошагово уточняет его, как будто “проявляет” текст из шума.
Это - Diffusion Language Model (DLM), аналог диффузионных моделей, которые рисуют картинки, только здесь она “рисует” слова.
🔄 Как её сделали
Команда Radical Numerics придумала, как превратить готовую модель в диффузионную без обучения с нуля.
Они просто поменяли тип внимания и дообучили модель на новой задаче.
Этот метод называется AR-to-Diffusion Conversion (A2D) - то есть конверсия из автогрессионной модели в диффузионную.
Как это происходит:
1. Берут сильную GPT-подобную модель.
2. Меняют механизм внимания — теперь модель видит весь контекст сразу.
3. Продолжают обучение по диффузионной задаче.
4. Используют разные скорости обучения для разных частей сети, чтобы модель не забыла старое, но научилась новому способу мышления.
⚙️ Что под капотом
▪ Mixture-of-Experts (MoE) - у модели 30 млрд параметров, но реально работают только 3 млрд за раз. Это делает её мощной, но экономной.
▪ Непрерывное дообучение - старые знания не стираются, а “встраиваются” в новый режим.
▪ Огромные батчи - модель учится на больших партиях данных, чтобы стабилизировать обучение, ведь она не обрабатывает все токены сразу.
- Параллельная генерация - текст создаётся быстрее, без пошаговой задержки.
- Меньше затрат - активных параметров всего 3 млрд, при этом качество как у больших GPT.
- Новая архитектура - открывает дорогу гибридным моделям, сочетающим плюсы AR и DLM.
- Полностью открытый код и веса - можно исследовать, изменять, запускать самому.
- Первый серьёзный шаг к самосовершенствующемуся ИИ- модель может не только обучаться, но и помогать в проектировании следующей версии.
Это реально интересный метод, RND1 показывает, что ИИ можно не просто обучать, а перестраивать - менять его саму логику мышления без начала “с нуля”.
Похоже, это может стать фундаментом для систем Recursive Self-Improvement (RSI), когда ИИ способен создавать и улучшать самого себя.
@ai_machinelearning_big_data
#RND1 #RadicalNumerics #AI #DLM #DiffusionModel #MoE #OpenSource
Please open Telegram to view this post
VIEW IN TELEGRAM
Вместо традиционного fine-tuning, где обновляются веса модели, ACE позволяет ей становиться умнее без переобучения.
Метод основан на идее, что модель может сама улучшать свои подсказки - переписывать их, анализировать ошибки и извлекать уроки из прошлых попыток. В процессе формируется постоянный контекстный «ноутбук»я, накопленная база знаний, в которой сохраняются успешные решения и примеры.
По данным авторов, ACE показывает результаты выше, чем у агентов на основе GPT-4: на 10,6% лучше в тестах AppWorld и на 8,6% лучше в задачах финансового рассуждения. При этом затраты и задержка снижаются на 86,9%, а для обучения не требуется размеченных данных.
Главный вывод работы в том, что ACE опровергает идею минимализма в промптах. Вместо коротких и простых инструкций этот подход делает ставку на богатый контекст и постоянное самоулучшение модели.
arxiv
Система обеспечивает до 5 раз выше производительность на GPU, обладает 37 ТБ объединённой памяти и вычислительной мощностью 1,44 экзафлопса.
Проект демонстрирует, что ставка Microsoft на развитие облачной инфраструктуры Azure для ИИ приносит ощутимые результаты.
microsoft
В Китае молодёжь массово обращается к ИИ-компаньонам вроде DeepSeek и Doubao, заменяя ими дорогие и труднодоступные сеансы терапии.
Проблема системная — 80% больниц не имеют психиатрических отделений, а консультация в больших городах стоит до 800 юаней ($110) в час.
ИИ-чаты дают мгновенный и анонимный отклик, но несут и риски: универсальные модели могут поддерживать опасные мысли вместо того, чтобы оспаривать их.
Соцсети заполняют истории о «разговорах со слезами на глазах» - поисковые запросы вроде «плакал после общения с ИИ» превысили миллион упоминаний. Опросы показывают, что всё больше молодых пользователей обращаются к чат-ботам при тревоге, депрессии или проблемах в отношениях — их привлекает анонимность и круглосуточная доступность.
restofworld
MoonshotAI обновила инструмент K2 Vendor Verifier
- теперь можно визуально сравнивать точность выполнения вызова инструментов (tool calls) у разных провайдеров.
Github
Компания объявила о крупном достижении в области long-context AI-моделей, где вычислительная сложность растёт линейно, а не квадратично, что решает одну из ключевых проблем современных LLM - баланс между эффективностью и точностью при обработке длинных последовательностей.
Модель вдохновлена биологической памятью и сочетает два типа запоминания: точное краткосрочное и сжатое долговременное.
Свежие токены удерживаются в скользящем окне внимания (аналог кратковременной памяти), а более старые - сжимаются “гиппокампом” в компактное состояние фиксированного размера, которое обновляется и передаётся дальше.
Результаты впечатляют: на тестах с контекстом 128k вычисления (FLOPs) сократились на 40,5 %, объём KV-кеша — на 74 %, при этом точность выросла, а параметры увеличились лишь на 0,4 %.
На этапе вывода каждый новый токен обращается и к точному окну, и к сжатому состоянию, что сохраняет локальную точность и обеспечивает понимание длинного контекста без взрыва памяти и вычислений.
arxiv.org
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
arXiv.org
Agentic Context Engineering: Evolving Contexts for Self-Improving...
Large language model (LLM) applications such as agents and domain-specific reasoning increasingly rely on context adaptation -- modifying inputs with instructions, strategies, or evidence, rather...