Машинное обучение digest – Telegram
Машинное обучение digest
40 subscribers
1.27K photos
181 videos
642 links
Download Telegram
🌟 ToolOrchestra: буст ИИ-потенциала за счет координации моделей и инструментов.

NVIDIA совместно с Университетом Гонконга разработала ToolOrchestra - методику обучения дирижеров для ИИ-агентов, и выпустила на ее основе модель Orchestrator-8B.

Это модель, базирующаяся на архитектуре Qwen3 предназначена для оркестрации других моделей и инструментов. Вместо того чтобы решать задачу в одиночку, модель чередует этапы рассуждения с вызовом внешних инструментов.

В ее арсенале поисковые движки, интерпретаторы кода и другие LLM, от узкоспециализированных математических до универсальных гигантов Claude и Llama-Nemotron.

Обучение проводилось с помощью GRPO, который поощрял модель не только за точность, но и за экономическую эффективность.

В результате решение получилось в 2,5 раза быстрее и на 70% дешевле в эксплуатации, чем использование одной лишь флагманской модели для всех этапов задачи, а сама Orchestrator-8B набрала 37,1% в сложнейшем бенчмарке Humanity's Last Exam , обойдя GPT-5 (35,1%).


📌Лицензирование кода : Apache 2.0 License.

📌Лицензирование модели: NVIDIA License.


🟡Страница проекта
🟡Модель
🟡Arxiv
🟡Датасет
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Orchestrator #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🏗️ Google превращает TPUv7 в настоящую альтернативу Nvidia, продавая внешние кластеры промышленного масштаба.
Anthropic уже взяла курс на около 1 млн TPUv7 для обучения моделей Claude — часть покупает «железом», часть арендует в Google Cloud.

📈 Почему TPUv7 — это удар по доминированию Nvidia

TPUv7 Ironwood по пропускной способности приближается к Nvidia GB200/GB300,
но выигрывает по TCO: Google и Broadcom контролируют производство чипов, систем и сетей, а не покупают полностью готовые Nvidia-платформы.

💰 Что делает Anthropic

- ~400K TPUv7 — покупает целыми стойками для своих дата-центров
- ~600K TPUv7 — арендует в Google Cloud
- распределяет риски между своими площадками и Google
- использует объём закупок, чтобы давить цену Nvidia по остальному GPU-флоту

🧮 FLOPs, которые имеют значение

Anthropic не гонится за маркетинговыми пиковыми FLOPs.
Важно лишь то, сколько полезных FLOPs реально получает модель.
С оптимизированными ядрами TPUv7 даёт примерно в 2 раза более дешёвые полезные FLOPs, чем Nvidia GB300 NVL72.

🔗 Сетевое преимущество

Ключевая сила TPUv7 — сеть ICI 3D-torus:
- прямые связи между чипами
- оптические переключатели
- бесшовная сборка огромных подов

И главное — Google делает нативный PyTorch backend для TPU,
что позволяет переносить PyTorch-модели без переписывания под JAX.

Комбо из TPUv7 + сделка Anthropic на 1 млн чипов уже формирует ценовой потолок для Nvidia.
Следующий шаг — открыть XLA и runtime, чтобы TPU стал действительно массовой и доступной платформой.

https://newsletter.semianalysis.com/p/tpuv7-google-takes-a-swing-at-the
🙂 Идея для стартапа: GPU-Сауна

@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡️ В Ai Toolkit появилась поддержка обучения LoRA для Z-Image Turbo.

Ostris, разработчик популярного пакета для обучения диффузионных моделей добавил поддержку обучения для Z-Image Turbo с помощью De-Distill адаптера.

AI Toolkit — это универсальный набор инструментов для обучения диффузионных моделей на потребительском оборудовании. Он может запускаться как в GUI, так и в командной строке. Набор разработан так, чтобы быть простым в использовании, но при этом обладать всеми возможными функциями.


По первым тестам, обучение возможно на 12+ VRAM, а обучение персонажа на 17 изображениях длительностью 3000 шагов на RTX 5090 занимает примерно полтора часа.

Подробный гайд по процессу автор тулкита обещает выпустить в ближайшие дни.


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🧮 Интересная и подробная статья о том, почему TPU становятся ключевым фактором в удешевлении инференса.

- TPUs дают примерно в 4 раза лучшую стоимость за производительность по сравнению с Nvidia GPU в задачах инференса
- Инференс за время жизни модели стоит в 15 раз дороже, чем её обучение
- К 2030 году инференс будет потреблять около 75 процентов всего AI compute (рынок на 255 млрд долларов)

Основная мысль проста: инференс полностью доминирует итоговую стоимость эксплуатации модели. Обучение модели уровня GPT-4 стоит примерно 150 миллионов долларов, но поддержание инференса - около 2.3 миллиарда долларов в год.

Nvidia H100 отлично подходит для гибкого обучения, но их универсальная архитектура добавляет лишнюю логику управления и движение данных, что увеличивает энергопотребление при простых forward-pass операциях — поэтому длительный инференс обходится дорого.

Google TPU - специализированные чипы для tensor math, построенные на систолических массивах и агрессивной инженерии энергопотребления. В итоге они потребляют примерно на 60-65 процентов меньше энергии и дают около четырёхкратного выигрыша по стоимости инференса трансформеров по сравнению с H100.

Практика это подтверждает:
Midjourney снизил затраты на инференс примерно на 65 процентов после перехода на TPU.
Anthropic закупает до миллиона TPU.
Meta, Salesforce, Cohere и многие другие также переводят всё больше трафика на TPU-поды, поскольку инференс стремительно растёт и к 2030 году станет около 75 процентов всех вычислений в AI.

ainewshub.org/post/ai-inference-costs-tpu-vs-gpu-2025
🚀 GELab-Zero - первый полноценный open-source стек “Model + Infra” для GUI-агентов.

Это открытая альтернатива закрытым системам уровня GUI Agent MCP: готовая модель, готовая инфраструктура и новый бенчмарк, собранный под реальные задачи.

Что внутри:

• SOTA-модель 4B - лёгкая, быстрая, запускается локально.
• One-Click инфраструктура - без ADB и сложных зависимостей.
• AndroidDaily - новый бенчмарк, основанный на рабочих пользовательских сценариях.

Производительность:

• Лучшие результаты на открытых тестах - модель обходит гораздо более крупные системы вроде GUI-Owl-32B на ScreenSpot, AndroidWorld и OSWorld.
• 73.4% точности на AndroidDaily - существенно выше, чем UI-TARS-1.5 (47%), Gemini-2.5-pro-thinking (36.6%) и GPT-4o (19.6%).

Идея простая: скачивайте, запускайте локально, ломайте, улучшайте.
Открытый стек для GUI-агентов наконец доступен.

🟠HuggingFace: https://huggingface.co/stepfun-ai/GELab-Zero-4B-preview
🟠GitHub: https://github.com/stepfun-ai/gelab-zero
🟠Blog: https://opengelab.github.io/index.html

@ai_machinelearning_big_data

#AI, #Agents, #GUIAgents, #GELabZero, #OpenSource, #MachineLearning, #DeepLearning
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🚀 Релиз DeepSeek-V3.2 и DeepSeek-V3.2-Speciale - модели нового поколения, созданные в первую очередь для reasoning и работы в агентных системах.

Что нового:
- DeepSeek-V3.2 - официальный преемник V3.2-Exp. Доступна в приложении, на сайте и через API.
- DeepSeek-V3.2-Speciale - улучшенная версия с акцентом на продвинутое многошаговое рассуждение. Пока что работает только через API.

Обе модели делают упор на глубокие цепочки рассуждений и поведение, нацеленное на агентные сценарии: планирование, решение задач, сложные выводы и работу со структурированными данными.

🏆 Производительность

• V3.2 - баланс скорости и качества, уровень примерно GPT-5
• V3.2-Speciale - топовый reasoning, конкурирует с Gemini-3.0-Pro.
• Speciale - лидер на IMO, CMO, ICPC.

🤖 Новый подход к обучению агентов

• Синтезированы большие тренировочные данные для 1800+ сред и 85k сложных инструкций.
• V3.2 - первая модель DeepSeek, у которой мышление встроено прямо в tool-use.

💻 API

• V3.2 использует тот же интерфейс, что V3.2-Exp.
• Speciale доступна через временный endpoint, работать будет до 15 декабря 2025.

📦 DeepSeek-V3.2 Model: https://huggingface.co/deepseek-ai/DeepSeek-V3.2
📦 DeepSeek-V3.2-Speciale Model: https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Speciale
📄 Tech report: https://huggingface.co/deepseek-ai/DeepSeek-V3.2/resolve/main/assets/paper.pdf

@ai_machinelearning_big_data

#deepseek, #deepseekv3, #ai, #нейросети, #искусственныйинтеллект, #llm
Media is too big
VIEW IN TELEGRAM
⚡️ Runway представили новый видеогенератор **Gen-4.5** - заметный шаг вперёд по качеству и управляемости видео.

Что улучшили:
- более детализированное и чистое изображение
- реалистичную динамику и движения объектов
- улучшенную физику, освещение и поведение материалов
- точное следование промпту, включая сложные сцены

Gen-4.5 уверенно работает с быстрыми движениями, сложными ракурсами и умеет контролировать камеру, композицию, звук и другие параметры сцены.
Поддерживаются разные стили-— от фотореализма до пластилиновой анимации.

Что может:
- Image-to-Video
- Video-to-Video
- Keyframes
- Управление движением камеры

Runway заявляет, что скорость и потребление ресурсов сопоставимы с Gen-4, но качество заметно выше.
На сайте модель пока помечена как *soon*, цены ещё не отображаются, API пока недоступен. Доступ пользователям будут открывать постепенно.

По метрикам тоже впечатляет: Gen-4.5 набрала 1 247 Elo в рейтинге *Artificial Analysis Text-to-Video*, установив новый рекорд и обойдя все существующие AI-модели для генерации видео.

Анонс: https://app.runwayml.com/video-tools/

@ai_machinelearning_big_data

#runway #runwayml #gen45 #gen4_5 #videogen #ai_
1
🐋 DeepSeek выкатили не «ещё одну модель», а полноценную топ-систему уровня IMO/IOI/ICPC - при этом обучение и генерация стоят в десятки раз дешевле, чем у GPT-5 и Gemini 3 Pro.

Главное:
• DeepSeek-V3.2-Speciale обгоняет Gemini 3.0 Pro в математике и коде
• Новая флагманская модель совмещает рассуждения + агентность
• Архитектура MoE из семейства V3.1 Terminus, контекст 128k
• Главное нововведение — DeepSeek Sparse Attention (DSA), сделанный ради дешёвого длинного контекста

Что делает DSA
Обычное внимание - O(T²), что больно при 128k токенов.
DSA снижает стоимость до O(T·U), где U - только небольшое число релевантных токенов.

Как работает:
1) Lightning Indexer - лёгкая сеть оценивает важность каждого прошлого токена
2) Fine-grained top-k - модель выбирает только самые полезные токены и считает внимание по ним

Как обучали
Начали с чекпоинта V3.1 (128k) и сделали 2-ступенчатое дообучение:
• Stage 1 - плотное внимание, замороженная модель, обучается только DSA
• Stage 2 - постепенный переход на DSA по всей модели

Итог: длинный контекст стал реально дешёвым, а качество выше, чем у предыдущих версий и конкурентов.

Tech report: https://huggingface.co/deepseek-ai/DeepSeek-V3.2/resolve/main/assets/paper.pdf