NVIDIA совместно с Университетом Гонконга разработала ToolOrchestra - методику обучения дирижеров для ИИ-агентов, и выпустила на ее основе модель Orchestrator-8B.
Это модель, базирующаяся на архитектуре Qwen3 предназначена для оркестрации других моделей и инструментов. Вместо того чтобы решать задачу в одиночку, модель чередует этапы рассуждения с вызовом внешних инструментов.
В ее арсенале поисковые движки, интерпретаторы кода и другие LLM, от узкоспециализированных математических до универсальных гигантов Claude и Llama-Nemotron.
Обучение проводилось с помощью GRPO, который поощрял модель не только за точность, но и за экономическую эффективность.
В результате решение получилось в 2,5 раза быстрее и на 70% дешевле в эксплуатации, чем использование одной лишь флагманской модели для всех этапов задачи, а сама Orchestrator-8B набрала 37,1% в сложнейшем бенчмарке Humanity's Last Exam , обойдя GPT-5 (35,1%).
@ai_machinelearning_big_data
#AI #ML #LLM #Orchestrator #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🏗️ Google превращает TPUv7 в настоящую альтернативу Nvidia, продавая внешние кластеры промышленного масштаба.
Anthropic уже взяла курс на около 1 млн TPUv7 для обучения моделей Claude — часть покупает «железом», часть арендует в Google Cloud.
📈 Почему TPUv7 — это удар по доминированию Nvidia
TPUv7 Ironwood по пропускной способности приближается к Nvidia GB200/GB300,
но выигрывает по TCO: Google и Broadcom контролируют производство чипов, систем и сетей, а не покупают полностью готовые Nvidia-платформы.
💰 Что делает Anthropic
- ~400K TPUv7 — покупает целыми стойками для своих дата-центров
- ~600K TPUv7 — арендует в Google Cloud
- распределяет риски между своими площадками и Google
- использует объём закупок, чтобы давить цену Nvidia по остальному GPU-флоту
🧮 FLOPs, которые имеют значение
Anthropic не гонится за маркетинговыми пиковыми FLOPs.
Важно лишь то, сколько полезных FLOPs реально получает модель.
С оптимизированными ядрами TPUv7 даёт примерно в 2 раза более дешёвые полезные FLOPs, чем Nvidia GB300 NVL72.
🔗 Сетевое преимущество
Ключевая сила TPUv7 — сеть ICI 3D-torus:
- прямые связи между чипами
- оптические переключатели
- бесшовная сборка огромных подов
И главное — Google делает нативный PyTorch backend для TPU,
что позволяет переносить PyTorch-модели без переписывания под JAX.
Комбо из TPUv7 + сделка Anthropic на 1 млн чипов уже формирует ценовой потолок для Nvidia.
Следующий шаг — открыть XLA и runtime, чтобы TPU стал действительно массовой и доступной платформой.
https://newsletter.semianalysis.com/p/tpuv7-google-takes-a-swing-at-the
Anthropic уже взяла курс на около 1 млн TPUv7 для обучения моделей Claude — часть покупает «железом», часть арендует в Google Cloud.
📈 Почему TPUv7 — это удар по доминированию Nvidia
TPUv7 Ironwood по пропускной способности приближается к Nvidia GB200/GB300,
но выигрывает по TCO: Google и Broadcom контролируют производство чипов, систем и сетей, а не покупают полностью готовые Nvidia-платформы.
💰 Что делает Anthropic
- ~400K TPUv7 — покупает целыми стойками для своих дата-центров
- ~600K TPUv7 — арендует в Google Cloud
- распределяет риски между своими площадками и Google
- использует объём закупок, чтобы давить цену Nvidia по остальному GPU-флоту
🧮 FLOPs, которые имеют значение
Anthropic не гонится за маркетинговыми пиковыми FLOPs.
Важно лишь то, сколько полезных FLOPs реально получает модель.
С оптимизированными ядрами TPUv7 даёт примерно в 2 раза более дешёвые полезные FLOPs, чем Nvidia GB300 NVL72.
🔗 Сетевое преимущество
Ключевая сила TPUv7 — сеть ICI 3D-torus:
- прямые связи между чипами
- оптические переключатели
- бесшовная сборка огромных подов
И главное — Google делает нативный PyTorch backend для TPU,
что позволяет переносить PyTorch-модели без переписывания под JAX.
Комбо из TPUv7 + сделка Anthropic на 1 млн чипов уже формирует ценовой потолок для Nvidia.
Следующий шаг — открыть XLA и runtime, чтобы TPU стал действительно массовой и доступной платформой.
https://newsletter.semianalysis.com/p/tpuv7-google-takes-a-swing-at-the
Please open Telegram to view this post
VIEW IN TELEGRAM
Ostris, разработчик популярного пакета для обучения диффузионных моделей добавил поддержку обучения для Z-Image Turbo с помощью De-Distill адаптера.
AI Toolkit — это универсальный набор инструментов для обучения диффузионных моделей на потребительском оборудовании. Он может запускаться как в GUI, так и в командной строке. Набор разработан так, чтобы быть простым в использовании, но при этом обладать всеми возможными функциями.
По первым тестам, обучение возможно на 12+ VRAM, а обучение персонажа на 17 изображениях длительностью 3000 шагов на RTX 5090 занимает примерно полтора часа.
Подробный гайд по процессу автор тулкита обещает выпустить в ближайшие дни.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🧮 Интересная и подробная статья о том, почему TPU становятся ключевым фактором в удешевлении инференса.
- TPUs дают примерно в 4 раза лучшую стоимость за производительность по сравнению с Nvidia GPU в задачах инференса
- Инференс за время жизни модели стоит в 15 раз дороже, чем её обучение
- К 2030 году инференс будет потреблять около 75 процентов всего AI compute (рынок на 255 млрд долларов)
Основная мысль проста: инференс полностью доминирует итоговую стоимость эксплуатации модели. Обучение модели уровня GPT-4 стоит примерно 150 миллионов долларов, но поддержание инференса - около 2.3 миллиарда долларов в год.
Nvidia H100 отлично подходит для гибкого обучения, но их универсальная архитектура добавляет лишнюю логику управления и движение данных, что увеличивает энергопотребление при простых forward-pass операциях — поэтому длительный инференс обходится дорого.
Google TPU - специализированные чипы для tensor math, построенные на систолических массивах и агрессивной инженерии энергопотребления. В итоге они потребляют примерно на 60-65 процентов меньше энергии и дают около четырёхкратного выигрыша по стоимости инференса трансформеров по сравнению с H100.
Практика это подтверждает:
Midjourney снизил затраты на инференс примерно на 65 процентов после перехода на TPU.
Anthropic закупает до миллиона TPU.
Meta, Salesforce, Cohere и многие другие также переводят всё больше трафика на TPU-поды, поскольку инференс стремительно растёт и к 2030 году станет около 75 процентов всех вычислений в AI.
ainewshub.org/post/ai-inference-costs-tpu-vs-gpu-2025
- TPUs дают примерно в 4 раза лучшую стоимость за производительность по сравнению с Nvidia GPU в задачах инференса
- Инференс за время жизни модели стоит в 15 раз дороже, чем её обучение
- К 2030 году инференс будет потреблять около 75 процентов всего AI compute (рынок на 255 млрд долларов)
Основная мысль проста: инференс полностью доминирует итоговую стоимость эксплуатации модели. Обучение модели уровня GPT-4 стоит примерно 150 миллионов долларов, но поддержание инференса - около 2.3 миллиарда долларов в год.
Nvidia H100 отлично подходит для гибкого обучения, но их универсальная архитектура добавляет лишнюю логику управления и движение данных, что увеличивает энергопотребление при простых forward-pass операциях — поэтому длительный инференс обходится дорого.
Google TPU - специализированные чипы для tensor math, построенные на систолических массивах и агрессивной инженерии энергопотребления. В итоге они потребляют примерно на 60-65 процентов меньше энергии и дают около четырёхкратного выигрыша по стоимости инференса трансформеров по сравнению с H100.
Практика это подтверждает:
Midjourney снизил затраты на инференс примерно на 65 процентов после перехода на TPU.
Anthropic закупает до миллиона TPU.
Meta, Salesforce, Cohere и многие другие также переводят всё больше трафика на TPU-поды, поскольку инференс стремительно растёт и к 2030 году станет около 75 процентов всех вычислений в AI.
ainewshub.org/post/ai-inference-costs-tpu-vs-gpu-2025
🚀 GELab-Zero - первый полноценный open-source стек “Model + Infra” для GUI-агентов.
Это открытая альтернатива закрытым системам уровня GUI Agent MCP: готовая модель, готовая инфраструктура и новый бенчмарк, собранный под реальные задачи.
Что внутри:
• SOTA-модель 4B - лёгкая, быстрая, запускается локально.
• One-Click инфраструктура - без ADB и сложных зависимостей.
• AndroidDaily - новый бенчмарк, основанный на рабочих пользовательских сценариях.
Производительность:
• Лучшие результаты на открытых тестах - модель обходит гораздо более крупные системы вроде GUI-Owl-32B на ScreenSpot, AndroidWorld и OSWorld.
• 73.4% точности на AndroidDaily - существенно выше, чем UI-TARS-1.5 (47%), Gemini-2.5-pro-thinking (36.6%) и GPT-4o (19.6%).
Идея простая: скачивайте, запускайте локально, ломайте, улучшайте.
Открытый стек для GUI-агентов наконец доступен.
🟠 HuggingFace: https://huggingface.co/stepfun-ai/GELab-Zero-4B-preview
🟠 GitHub: https://github.com/stepfun-ai/gelab-zero
🟠 Blog: https://opengelab.github.io/index.html
@ai_machinelearning_big_data
#AI, #Agents, #GUIAgents, #GELabZero, #OpenSource, #MachineLearning, #DeepLearning
Это открытая альтернатива закрытым системам уровня GUI Agent MCP: готовая модель, готовая инфраструктура и новый бенчмарк, собранный под реальные задачи.
Что внутри:
• SOTA-модель 4B - лёгкая, быстрая, запускается локально.
• One-Click инфраструктура - без ADB и сложных зависимостей.
• AndroidDaily - новый бенчмарк, основанный на рабочих пользовательских сценариях.
Производительность:
• Лучшие результаты на открытых тестах - модель обходит гораздо более крупные системы вроде GUI-Owl-32B на ScreenSpot, AndroidWorld и OSWorld.
• 73.4% точности на AndroidDaily - существенно выше, чем UI-TARS-1.5 (47%), Gemini-2.5-pro-thinking (36.6%) и GPT-4o (19.6%).
Идея простая: скачивайте, запускайте локально, ломайте, улучшайте.
Открытый стек для GUI-агентов наконец доступен.
@ai_machinelearning_big_data
#AI, #Agents, #GUIAgents, #GELabZero, #OpenSource, #MachineLearning, #DeepLearning
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🚀 Релиз DeepSeek-V3.2 и DeepSeek-V3.2-Speciale - модели нового поколения, созданные в первую очередь для reasoning и работы в агентных системах.
Что нового:
- DeepSeek-V3.2 - официальный преемник V3.2-Exp. Доступна в приложении, на сайте и через API.
- DeepSeek-V3.2-Speciale - улучшенная версия с акцентом на продвинутое многошаговое рассуждение. Пока что работает только через API.
Обе модели делают упор на глубокие цепочки рассуждений и поведение, нацеленное на агентные сценарии: планирование, решение задач, сложные выводы и работу со структурированными данными.
🏆 Производительность
• V3.2 - баланс скорости и качества, уровень примерно GPT-5
• V3.2-Speciale - топовый reasoning, конкурирует с Gemini-3.0-Pro.
• Speciale - лидер на IMO, CMO, ICPC.
🤖 Новый подход к обучению агентов
• Синтезированы большие тренировочные данные для 1800+ сред и 85k сложных инструкций.
• V3.2 - первая модель DeepSeek, у которой мышление встроено прямо в tool-use.
💻 API
• V3.2 использует тот же интерфейс, что V3.2-Exp.
• Speciale доступна через временный endpoint, работать будет до 15 декабря 2025.
📦 DeepSeek-V3.2 Model: https://huggingface.co/deepseek-ai/DeepSeek-V3.2
📦 DeepSeek-V3.2-Speciale Model: https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Speciale
📄 Tech report: https://huggingface.co/deepseek-ai/DeepSeek-V3.2/resolve/main/assets/paper.pdf
@ai_machinelearning_big_data
#deepseek, #deepseekv3, #ai, #нейросети, #искусственныйинтеллект, #llm
Что нового:
- DeepSeek-V3.2 - официальный преемник V3.2-Exp. Доступна в приложении, на сайте и через API.
- DeepSeek-V3.2-Speciale - улучшенная версия с акцентом на продвинутое многошаговое рассуждение. Пока что работает только через API.
Обе модели делают упор на глубокие цепочки рассуждений и поведение, нацеленное на агентные сценарии: планирование, решение задач, сложные выводы и работу со структурированными данными.
🏆 Производительность
• V3.2 - баланс скорости и качества, уровень примерно GPT-5
• V3.2-Speciale - топовый reasoning, конкурирует с Gemini-3.0-Pro.
• Speciale - лидер на IMO, CMO, ICPC.
🤖 Новый подход к обучению агентов
• Синтезированы большие тренировочные данные для 1800+ сред и 85k сложных инструкций.
• V3.2 - первая модель DeepSeek, у которой мышление встроено прямо в tool-use.
💻 API
• V3.2 использует тот же интерфейс, что V3.2-Exp.
• Speciale доступна через временный endpoint, работать будет до 15 декабря 2025.
📦 DeepSeek-V3.2 Model: https://huggingface.co/deepseek-ai/DeepSeek-V3.2
📦 DeepSeek-V3.2-Speciale Model: https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Speciale
📄 Tech report: https://huggingface.co/deepseek-ai/DeepSeek-V3.2/resolve/main/assets/paper.pdf
@ai_machinelearning_big_data
#deepseek, #deepseekv3, #ai, #нейросети, #искусственныйинтеллект, #llm
Media is too big
VIEW IN TELEGRAM
⚡️ Runway представили новый видеогенератор **Gen-4.5** - заметный шаг вперёд по качеству и управляемости видео.
Что улучшили:
- более детализированное и чистое изображение
- реалистичную динамику и движения объектов
- улучшенную физику, освещение и поведение материалов
- точное следование промпту, включая сложные сцены
Gen-4.5 уверенно работает с быстрыми движениями, сложными ракурсами и умеет контролировать камеру, композицию, звук и другие параметры сцены.
Поддерживаются разные стили-— от фотореализма до пластилиновой анимации.
Что может:
- Image-to-Video
- Video-to-Video
- Keyframes
- Управление движением камеры
Runway заявляет, что скорость и потребление ресурсов сопоставимы с Gen-4, но качество заметно выше.
На сайте модель пока помечена как *soon*, цены ещё не отображаются, API пока недоступен. Доступ пользователям будут открывать постепенно.
По метрикам тоже впечатляет: Gen-4.5 набрала 1 247 Elo в рейтинге *Artificial Analysis Text-to-Video*, установив новый рекорд и обойдя все существующие AI-модели для генерации видео.
Анонс: https://app.runwayml.com/video-tools/
@ai_machinelearning_big_data
#runway #runwayml #gen45 #gen4_5 #videogen #ai_
Что улучшили:
- более детализированное и чистое изображение
- реалистичную динамику и движения объектов
- улучшенную физику, освещение и поведение материалов
- точное следование промпту, включая сложные сцены
Gen-4.5 уверенно работает с быстрыми движениями, сложными ракурсами и умеет контролировать камеру, композицию, звук и другие параметры сцены.
Поддерживаются разные стили-— от фотореализма до пластилиновой анимации.
Что может:
- Image-to-Video
- Video-to-Video
- Keyframes
- Управление движением камеры
Runway заявляет, что скорость и потребление ресурсов сопоставимы с Gen-4, но качество заметно выше.
На сайте модель пока помечена как *soon*, цены ещё не отображаются, API пока недоступен. Доступ пользователям будут открывать постепенно.
По метрикам тоже впечатляет: Gen-4.5 набрала 1 247 Elo в рейтинге *Artificial Analysis Text-to-Video*, установив новый рекорд и обойдя все существующие AI-модели для генерации видео.
Анонс: https://app.runwayml.com/video-tools/
@ai_machinelearning_big_data
#runway #runwayml #gen45 #gen4_5 #videogen #ai_
❤1
🐋 DeepSeek выкатили не «ещё одну модель», а полноценную топ-систему уровня IMO/IOI/ICPC - при этом обучение и генерация стоят в десятки раз дешевле, чем у GPT-5 и Gemini 3 Pro.
Главное:
• DeepSeek-V3.2-Speciale обгоняет Gemini 3.0 Pro в математике и коде
• Новая флагманская модель совмещает рассуждения + агентность
• Архитектура MoE из семейства V3.1 Terminus, контекст 128k
• Главное нововведение — DeepSeek Sparse Attention (DSA), сделанный ради дешёвого длинного контекста
Что делает DSA
Обычное внимание - O(T²), что больно при 128k токенов.
DSA снижает стоимость до O(T·U), где U - только небольшое число релевантных токенов.
Как работает:
1) Lightning Indexer - лёгкая сеть оценивает важность каждого прошлого токена
2) Fine-grained top-k - модель выбирает только самые полезные токены и считает внимание по ним
Как обучали
Начали с чекпоинта V3.1 (128k) и сделали 2-ступенчатое дообучение:
• Stage 1 - плотное внимание, замороженная модель, обучается только DSA
• Stage 2 - постепенный переход на DSA по всей модели
Итог: длинный контекст стал реально дешёвым, а качество выше, чем у предыдущих версий и конкурентов.
Tech report: https://huggingface.co/deepseek-ai/DeepSeek-V3.2/resolve/main/assets/paper.pdf
Главное:
• DeepSeek-V3.2-Speciale обгоняет Gemini 3.0 Pro в математике и коде
• Новая флагманская модель совмещает рассуждения + агентность
• Архитектура MoE из семейства V3.1 Terminus, контекст 128k
• Главное нововведение — DeepSeek Sparse Attention (DSA), сделанный ради дешёвого длинного контекста
Что делает DSA
Обычное внимание - O(T²), что больно при 128k токенов.
DSA снижает стоимость до O(T·U), где U - только небольшое число релевантных токенов.
Как работает:
1) Lightning Indexer - лёгкая сеть оценивает важность каждого прошлого токена
2) Fine-grained top-k - модель выбирает только самые полезные токены и считает внимание по ним
Как обучали
Начали с чекпоинта V3.1 (128k) и сделали 2-ступенчатое дообучение:
• Stage 1 - плотное внимание, замороженная модель, обучается только DSA
• Stage 2 - постепенный переход на DSA по всей модели
Итог: длинный контекст стал реально дешёвым, а качество выше, чем у предыдущих версий и конкурентов.
Tech report: https://huggingface.co/deepseek-ai/DeepSeek-V3.2/resolve/main/assets/paper.pdf