Prime Intellect выкатили INTELLECT-3 - 106B Mixture-of-Experts модель, обученнfz на GLM-4.5 Air Base с двумя этапами: SFT и масштабным RL-дообучением.
Это первая модель такого масштаба, где асинхронный RL - не эксперимент, а основа обучения. В результате модель демонстрирует сильный перформанс в математике, коде и reasoning.
Фокус модели - долгие цепочки действий и агентные задачи, а не просто генерация текста.
Главное:
- Модель показывает топ-результаты для своего размера в математике, коде и reasoning.
- Обучение шло на 512×H200 в течение ~2 месяцев.
- Использован собственный стек: PRIME-RL, Verifiers, Environments Hub и sandbox-инфра.
- Всё открыто: код, среды, инструменты.
@ai_machinelearning_big_data
#ai #intellect3 #primeintellect #glm45
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Машинное обучение главные новости.
✔️ Метаданные пользователей OpenAI API утекли через сервис Mixpanel.
OpenAI раскрыла детали инцидента безопасности, произошедшего на стороне подрядчика — платформы аналитики Mixpanel. Злоумышленники получили доступ к системам вендора и экспортировали метаданные пользователей, работающих с API. В утечку попали имена, адреса электронной почты, User ID, ID организаций, сведения об используемых браузерах и ОС, а также примерная геолокация.
OpenAI говорит, что критически важные данные остались в безопасности: пароли, сами API-ключи, платежная информация и промпты не скомпрометированы. Пользователей ChatGPT инцидент также не затронул. В ответ на нарушение периметра безопасности OpenAI отключила Mixpanel от своих продуктов и полностью прекратила сотрудничество.
openai.com
✔️ Китайский бигтех переносит обучение ИИ за границу.
Alibaba и ByteDance начали массово переводить обучение LLM в Юго-Восточную Азию. Цель миграции в Сингапур и Малайзию — получить легальный доступ к ускорителям Nvidia, прямые поставки которых в КНР заблокированы. Арена мощностей у зарубежных ЦОД формально не нарушает санкционный режим. Этот обходной путь стал безопасным после того, как администрация США отменила «правило распространения».
Исключением остается DeepSeek, который продолжает тренировать модели внутри Китая, используя запасы карт Nvidia и сотрудничая с инженерами Huawei. В индустрии формируется гибридная архитектура: обучение выносится на зарубежные кластеры, а инференс все чаще переводится на локальные китайские чипы.
ft.com
✔️ Alibaba представила умные очки Quark.
Китайский техногигант запустил продажи смарт-очков Quark. Устройство, внешне неотличимое от стандартной оправы, работает под управлением модели Qwen. Стартовая цена гаджета составляет около $268.
Инженеры сделали ставку на автономность и интеграцию с экосистемой: девайс оснащен сменными аккумуляторами, двойной оптикой и системой профессиональной съемки. Очки глубоко связаны с сервисами компании — пользователи могут использовать визуальный ассистент для мгновенного перевода, оплаты через Alipay и распознавания товаров для поиска цен на Taobao.
reuters.com
✔️ Apple создает альтернативу диффузионным нейросетям.
Apple опубликовала работу, предлагающую новый подход к генерации видео, способный потеснить диффузионные модели. Система STARFlow-V построена на архитектуре потоковой нормализации и обучается как единая модель для работы с текстом, картинками и видео.
В отличие от диффузии, требующей множества итераций для денойза, STARFlow-V использует однократное обратимое отображение и строгую причинно-следственную логику. Глобальный блок модели работает авторегрессионно: генерация каждого нового латента зависит исключительно от предыдущих данных.
Для оптимизации скорости вычислений применяется параллельные обновления Якоби, что дает качество уровня SOTA при более высокой стабильности генерации.
starflow-v.github.io
✔️ AdvancedIF: жёсткий бенчмарк проверки LLM на следование сложным инструкциям.
Лаборатория Марка Цукерберга разработала AdvancedIF - инструмент для выявления реальных пределов LLM в выполнении директив. Бенчмарк фокусируется на сценариях с высокой когнитивной нагрузкой: набор данных включает более 1600 промптов, каждый из которых содержит 6 одновременных условий: от требований к формату и стилю до негативных ограничений и перекрестных логических зависимостей.
Помимо разовых запросов, AdvancedIF тестирует управляемость моделей через системные промпты и способность удерживать контекст в сложных диалогах. В качестве арбитра используется o3-mini, которая сверяет ответы модели с критериями, разработанными экспертами-людьми. Инструментарий поддерживает пакетную обработку, а сам датасет можно найти на Hugging Face.
github.com
OpenAI раскрыла детали инцидента безопасности, произошедшего на стороне подрядчика — платформы аналитики Mixpanel. Злоумышленники получили доступ к системам вендора и экспортировали метаданные пользователей, работающих с API. В утечку попали имена, адреса электронной почты, User ID, ID организаций, сведения об используемых браузерах и ОС, а также примерная геолокация.
OpenAI говорит, что критически важные данные остались в безопасности: пароли, сами API-ключи, платежная информация и промпты не скомпрометированы. Пользователей ChatGPT инцидент также не затронул. В ответ на нарушение периметра безопасности OpenAI отключила Mixpanel от своих продуктов и полностью прекратила сотрудничество.
openai.com
Alibaba и ByteDance начали массово переводить обучение LLM в Юго-Восточную Азию. Цель миграции в Сингапур и Малайзию — получить легальный доступ к ускорителям Nvidia, прямые поставки которых в КНР заблокированы. Арена мощностей у зарубежных ЦОД формально не нарушает санкционный режим. Этот обходной путь стал безопасным после того, как администрация США отменила «правило распространения».
Исключением остается DeepSeek, который продолжает тренировать модели внутри Китая, используя запасы карт Nvidia и сотрудничая с инженерами Huawei. В индустрии формируется гибридная архитектура: обучение выносится на зарубежные кластеры, а инференс все чаще переводится на локальные китайские чипы.
ft.com
Китайский техногигант запустил продажи смарт-очков Quark. Устройство, внешне неотличимое от стандартной оправы, работает под управлением модели Qwen. Стартовая цена гаджета составляет около $268.
Инженеры сделали ставку на автономность и интеграцию с экосистемой: девайс оснащен сменными аккумуляторами, двойной оптикой и системой профессиональной съемки. Очки глубоко связаны с сервисами компании — пользователи могут использовать визуальный ассистент для мгновенного перевода, оплаты через Alipay и распознавания товаров для поиска цен на Taobao.
reuters.com
Apple опубликовала работу, предлагающую новый подход к генерации видео, способный потеснить диффузионные модели. Система STARFlow-V построена на архитектуре потоковой нормализации и обучается как единая модель для работы с текстом, картинками и видео.
В отличие от диффузии, требующей множества итераций для денойза, STARFlow-V использует однократное обратимое отображение и строгую причинно-следственную логику. Глобальный блок модели работает авторегрессионно: генерация каждого нового латента зависит исключительно от предыдущих данных.
Для оптимизации скорости вычислений применяется параллельные обновления Якоби, что дает качество уровня SOTA при более высокой стабильности генерации.
starflow-v.github.io
Лаборатория Марка Цукерберга разработала AdvancedIF - инструмент для выявления реальных пределов LLM в выполнении директив. Бенчмарк фокусируется на сценариях с высокой когнитивной нагрузкой: набор данных включает более 1600 промптов, каждый из которых содержит 6 одновременных условий: от требований к формату и стилю до негативных ограничений и перекрестных логических зависимостей.
Помимо разовых запросов, AdvancedIF тестирует управляемость моделей через системные промпты и способность удерживать контекст в сложных диалогах. В качестве арбитра используется o3-mini, которая сверяет ответы модели с критериями, разработанными экспертами-людьми. Инструментарий поддерживает пакетную обработку, а сам датасет можно найти на Hugging Face.
github.com
Please open Telegram to view this post
VIEW IN TELEGRAM
Openai
What to know about a recent Mixpanel security incident
OpenAI shares details about a Mixpanel security incident involving limited API analytics data. No API content, credentials, or payment details were exposed. Learn what happened and how we’re protecting users.
NVIDIA совместно с Университетом Гонконга разработала ToolOrchestra - методику обучения дирижеров для ИИ-агентов, и выпустила на ее основе модель Orchestrator-8B.
Это модель, базирующаяся на архитектуре Qwen3 предназначена для оркестрации других моделей и инструментов. Вместо того чтобы решать задачу в одиночку, модель чередует этапы рассуждения с вызовом внешних инструментов.
В ее арсенале поисковые движки, интерпретаторы кода и другие LLM, от узкоспециализированных математических до универсальных гигантов Claude и Llama-Nemotron.
Обучение проводилось с помощью GRPO, который поощрял модель не только за точность, но и за экономическую эффективность.
В результате решение получилось в 2,5 раза быстрее и на 70% дешевле в эксплуатации, чем использование одной лишь флагманской модели для всех этапов задачи, а сама Orchestrator-8B набрала 37,1% в сложнейшем бенчмарке Humanity's Last Exam , обойдя GPT-5 (35,1%).
@ai_machinelearning_big_data
#AI #ML #LLM #Orchestrator #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🏗️ Google превращает TPUv7 в настоящую альтернативу Nvidia, продавая внешние кластеры промышленного масштаба.
Anthropic уже взяла курс на около 1 млн TPUv7 для обучения моделей Claude — часть покупает «железом», часть арендует в Google Cloud.
📈 Почему TPUv7 — это удар по доминированию Nvidia
TPUv7 Ironwood по пропускной способности приближается к Nvidia GB200/GB300,
но выигрывает по TCO: Google и Broadcom контролируют производство чипов, систем и сетей, а не покупают полностью готовые Nvidia-платформы.
💰 Что делает Anthropic
- ~400K TPUv7 — покупает целыми стойками для своих дата-центров
- ~600K TPUv7 — арендует в Google Cloud
- распределяет риски между своими площадками и Google
- использует объём закупок, чтобы давить цену Nvidia по остальному GPU-флоту
🧮 FLOPs, которые имеют значение
Anthropic не гонится за маркетинговыми пиковыми FLOPs.
Важно лишь то, сколько полезных FLOPs реально получает модель.
С оптимизированными ядрами TPUv7 даёт примерно в 2 раза более дешёвые полезные FLOPs, чем Nvidia GB300 NVL72.
🔗 Сетевое преимущество
Ключевая сила TPUv7 — сеть ICI 3D-torus:
- прямые связи между чипами
- оптические переключатели
- бесшовная сборка огромных подов
И главное — Google делает нативный PyTorch backend для TPU,
что позволяет переносить PyTorch-модели без переписывания под JAX.
Комбо из TPUv7 + сделка Anthropic на 1 млн чипов уже формирует ценовой потолок для Nvidia.
Следующий шаг — открыть XLA и runtime, чтобы TPU стал действительно массовой и доступной платформой.
https://newsletter.semianalysis.com/p/tpuv7-google-takes-a-swing-at-the
Anthropic уже взяла курс на около 1 млн TPUv7 для обучения моделей Claude — часть покупает «железом», часть арендует в Google Cloud.
📈 Почему TPUv7 — это удар по доминированию Nvidia
TPUv7 Ironwood по пропускной способности приближается к Nvidia GB200/GB300,
но выигрывает по TCO: Google и Broadcom контролируют производство чипов, систем и сетей, а не покупают полностью готовые Nvidia-платформы.
💰 Что делает Anthropic
- ~400K TPUv7 — покупает целыми стойками для своих дата-центров
- ~600K TPUv7 — арендует в Google Cloud
- распределяет риски между своими площадками и Google
- использует объём закупок, чтобы давить цену Nvidia по остальному GPU-флоту
🧮 FLOPs, которые имеют значение
Anthropic не гонится за маркетинговыми пиковыми FLOPs.
Важно лишь то, сколько полезных FLOPs реально получает модель.
С оптимизированными ядрами TPUv7 даёт примерно в 2 раза более дешёвые полезные FLOPs, чем Nvidia GB300 NVL72.
🔗 Сетевое преимущество
Ключевая сила TPUv7 — сеть ICI 3D-torus:
- прямые связи между чипами
- оптические переключатели
- бесшовная сборка огромных подов
И главное — Google делает нативный PyTorch backend для TPU,
что позволяет переносить PyTorch-модели без переписывания под JAX.
Комбо из TPUv7 + сделка Anthropic на 1 млн чипов уже формирует ценовой потолок для Nvidia.
Следующий шаг — открыть XLA и runtime, чтобы TPU стал действительно массовой и доступной платформой.
https://newsletter.semianalysis.com/p/tpuv7-google-takes-a-swing-at-the
Please open Telegram to view this post
VIEW IN TELEGRAM
Ostris, разработчик популярного пакета для обучения диффузионных моделей добавил поддержку обучения для Z-Image Turbo с помощью De-Distill адаптера.
AI Toolkit — это универсальный набор инструментов для обучения диффузионных моделей на потребительском оборудовании. Он может запускаться как в GUI, так и в командной строке. Набор разработан так, чтобы быть простым в использовании, но при этом обладать всеми возможными функциями.
По первым тестам, обучение возможно на 12+ VRAM, а обучение персонажа на 17 изображениях длительностью 3000 шагов на RTX 5090 занимает примерно полтора часа.
Подробный гайд по процессу автор тулкита обещает выпустить в ближайшие дни.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🧮 Интересная и подробная статья о том, почему TPU становятся ключевым фактором в удешевлении инференса.
- TPUs дают примерно в 4 раза лучшую стоимость за производительность по сравнению с Nvidia GPU в задачах инференса
- Инференс за время жизни модели стоит в 15 раз дороже, чем её обучение
- К 2030 году инференс будет потреблять около 75 процентов всего AI compute (рынок на 255 млрд долларов)
Основная мысль проста: инференс полностью доминирует итоговую стоимость эксплуатации модели. Обучение модели уровня GPT-4 стоит примерно 150 миллионов долларов, но поддержание инференса - около 2.3 миллиарда долларов в год.
Nvidia H100 отлично подходит для гибкого обучения, но их универсальная архитектура добавляет лишнюю логику управления и движение данных, что увеличивает энергопотребление при простых forward-pass операциях — поэтому длительный инференс обходится дорого.
Google TPU - специализированные чипы для tensor math, построенные на систолических массивах и агрессивной инженерии энергопотребления. В итоге они потребляют примерно на 60-65 процентов меньше энергии и дают около четырёхкратного выигрыша по стоимости инференса трансформеров по сравнению с H100.
Практика это подтверждает:
Midjourney снизил затраты на инференс примерно на 65 процентов после перехода на TPU.
Anthropic закупает до миллиона TPU.
Meta, Salesforce, Cohere и многие другие также переводят всё больше трафика на TPU-поды, поскольку инференс стремительно растёт и к 2030 году станет около 75 процентов всех вычислений в AI.
ainewshub.org/post/ai-inference-costs-tpu-vs-gpu-2025
- TPUs дают примерно в 4 раза лучшую стоимость за производительность по сравнению с Nvidia GPU в задачах инференса
- Инференс за время жизни модели стоит в 15 раз дороже, чем её обучение
- К 2030 году инференс будет потреблять около 75 процентов всего AI compute (рынок на 255 млрд долларов)
Основная мысль проста: инференс полностью доминирует итоговую стоимость эксплуатации модели. Обучение модели уровня GPT-4 стоит примерно 150 миллионов долларов, но поддержание инференса - около 2.3 миллиарда долларов в год.
Nvidia H100 отлично подходит для гибкого обучения, но их универсальная архитектура добавляет лишнюю логику управления и движение данных, что увеличивает энергопотребление при простых forward-pass операциях — поэтому длительный инференс обходится дорого.
Google TPU - специализированные чипы для tensor math, построенные на систолических массивах и агрессивной инженерии энергопотребления. В итоге они потребляют примерно на 60-65 процентов меньше энергии и дают около четырёхкратного выигрыша по стоимости инференса трансформеров по сравнению с H100.
Практика это подтверждает:
Midjourney снизил затраты на инференс примерно на 65 процентов после перехода на TPU.
Anthropic закупает до миллиона TPU.
Meta, Salesforce, Cohere и многие другие также переводят всё больше трафика на TPU-поды, поскольку инференс стремительно растёт и к 2030 году станет около 75 процентов всех вычислений в AI.
ainewshub.org/post/ai-inference-costs-tpu-vs-gpu-2025
🚀 GELab-Zero - первый полноценный open-source стек “Model + Infra” для GUI-агентов.
Это открытая альтернатива закрытым системам уровня GUI Agent MCP: готовая модель, готовая инфраструктура и новый бенчмарк, собранный под реальные задачи.
Что внутри:
• SOTA-модель 4B - лёгкая, быстрая, запускается локально.
• One-Click инфраструктура - без ADB и сложных зависимостей.
• AndroidDaily - новый бенчмарк, основанный на рабочих пользовательских сценариях.
Производительность:
• Лучшие результаты на открытых тестах - модель обходит гораздо более крупные системы вроде GUI-Owl-32B на ScreenSpot, AndroidWorld и OSWorld.
• 73.4% точности на AndroidDaily - существенно выше, чем UI-TARS-1.5 (47%), Gemini-2.5-pro-thinking (36.6%) и GPT-4o (19.6%).
Идея простая: скачивайте, запускайте локально, ломайте, улучшайте.
Открытый стек для GUI-агентов наконец доступен.
🟠 HuggingFace: https://huggingface.co/stepfun-ai/GELab-Zero-4B-preview
🟠 GitHub: https://github.com/stepfun-ai/gelab-zero
🟠 Blog: https://opengelab.github.io/index.html
@ai_machinelearning_big_data
#AI, #Agents, #GUIAgents, #GELabZero, #OpenSource, #MachineLearning, #DeepLearning
Это открытая альтернатива закрытым системам уровня GUI Agent MCP: готовая модель, готовая инфраструктура и новый бенчмарк, собранный под реальные задачи.
Что внутри:
• SOTA-модель 4B - лёгкая, быстрая, запускается локально.
• One-Click инфраструктура - без ADB и сложных зависимостей.
• AndroidDaily - новый бенчмарк, основанный на рабочих пользовательских сценариях.
Производительность:
• Лучшие результаты на открытых тестах - модель обходит гораздо более крупные системы вроде GUI-Owl-32B на ScreenSpot, AndroidWorld и OSWorld.
• 73.4% точности на AndroidDaily - существенно выше, чем UI-TARS-1.5 (47%), Gemini-2.5-pro-thinking (36.6%) и GPT-4o (19.6%).
Идея простая: скачивайте, запускайте локально, ломайте, улучшайте.
Открытый стек для GUI-агентов наконец доступен.
@ai_machinelearning_big_data
#AI, #Agents, #GUIAgents, #GELabZero, #OpenSource, #MachineLearning, #DeepLearning
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🚀 Релиз DeepSeek-V3.2 и DeepSeek-V3.2-Speciale - модели нового поколения, созданные в первую очередь для reasoning и работы в агентных системах.
Что нового:
- DeepSeek-V3.2 - официальный преемник V3.2-Exp. Доступна в приложении, на сайте и через API.
- DeepSeek-V3.2-Speciale - улучшенная версия с акцентом на продвинутое многошаговое рассуждение. Пока что работает только через API.
Обе модели делают упор на глубокие цепочки рассуждений и поведение, нацеленное на агентные сценарии: планирование, решение задач, сложные выводы и работу со структурированными данными.
🏆 Производительность
• V3.2 - баланс скорости и качества, уровень примерно GPT-5
• V3.2-Speciale - топовый reasoning, конкурирует с Gemini-3.0-Pro.
• Speciale - лидер на IMO, CMO, ICPC.
🤖 Новый подход к обучению агентов
• Синтезированы большие тренировочные данные для 1800+ сред и 85k сложных инструкций.
• V3.2 - первая модель DeepSeek, у которой мышление встроено прямо в tool-use.
💻 API
• V3.2 использует тот же интерфейс, что V3.2-Exp.
• Speciale доступна через временный endpoint, работать будет до 15 декабря 2025.
📦 DeepSeek-V3.2 Model: https://huggingface.co/deepseek-ai/DeepSeek-V3.2
📦 DeepSeek-V3.2-Speciale Model: https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Speciale
📄 Tech report: https://huggingface.co/deepseek-ai/DeepSeek-V3.2/resolve/main/assets/paper.pdf
@ai_machinelearning_big_data
#deepseek, #deepseekv3, #ai, #нейросети, #искусственныйинтеллект, #llm
Что нового:
- DeepSeek-V3.2 - официальный преемник V3.2-Exp. Доступна в приложении, на сайте и через API.
- DeepSeek-V3.2-Speciale - улучшенная версия с акцентом на продвинутое многошаговое рассуждение. Пока что работает только через API.
Обе модели делают упор на глубокие цепочки рассуждений и поведение, нацеленное на агентные сценарии: планирование, решение задач, сложные выводы и работу со структурированными данными.
🏆 Производительность
• V3.2 - баланс скорости и качества, уровень примерно GPT-5
• V3.2-Speciale - топовый reasoning, конкурирует с Gemini-3.0-Pro.
• Speciale - лидер на IMO, CMO, ICPC.
🤖 Новый подход к обучению агентов
• Синтезированы большие тренировочные данные для 1800+ сред и 85k сложных инструкций.
• V3.2 - первая модель DeepSeek, у которой мышление встроено прямо в tool-use.
💻 API
• V3.2 использует тот же интерфейс, что V3.2-Exp.
• Speciale доступна через временный endpoint, работать будет до 15 декабря 2025.
📦 DeepSeek-V3.2 Model: https://huggingface.co/deepseek-ai/DeepSeek-V3.2
📦 DeepSeek-V3.2-Speciale Model: https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Speciale
📄 Tech report: https://huggingface.co/deepseek-ai/DeepSeek-V3.2/resolve/main/assets/paper.pdf
@ai_machinelearning_big_data
#deepseek, #deepseekv3, #ai, #нейросети, #искусственныйинтеллект, #llm
Media is too big
VIEW IN TELEGRAM
⚡️ Runway представили новый видеогенератор **Gen-4.5** - заметный шаг вперёд по качеству и управляемости видео.
Что улучшили:
- более детализированное и чистое изображение
- реалистичную динамику и движения объектов
- улучшенную физику, освещение и поведение материалов
- точное следование промпту, включая сложные сцены
Gen-4.5 уверенно работает с быстрыми движениями, сложными ракурсами и умеет контролировать камеру, композицию, звук и другие параметры сцены.
Поддерживаются разные стили-— от фотореализма до пластилиновой анимации.
Что может:
- Image-to-Video
- Video-to-Video
- Keyframes
- Управление движением камеры
Runway заявляет, что скорость и потребление ресурсов сопоставимы с Gen-4, но качество заметно выше.
На сайте модель пока помечена как *soon*, цены ещё не отображаются, API пока недоступен. Доступ пользователям будут открывать постепенно.
По метрикам тоже впечатляет: Gen-4.5 набрала 1 247 Elo в рейтинге *Artificial Analysis Text-to-Video*, установив новый рекорд и обойдя все существующие AI-модели для генерации видео.
Анонс: https://app.runwayml.com/video-tools/
@ai_machinelearning_big_data
#runway #runwayml #gen45 #gen4_5 #videogen #ai_
Что улучшили:
- более детализированное и чистое изображение
- реалистичную динамику и движения объектов
- улучшенную физику, освещение и поведение материалов
- точное следование промпту, включая сложные сцены
Gen-4.5 уверенно работает с быстрыми движениями, сложными ракурсами и умеет контролировать камеру, композицию, звук и другие параметры сцены.
Поддерживаются разные стили-— от фотореализма до пластилиновой анимации.
Что может:
- Image-to-Video
- Video-to-Video
- Keyframes
- Управление движением камеры
Runway заявляет, что скорость и потребление ресурсов сопоставимы с Gen-4, но качество заметно выше.
На сайте модель пока помечена как *soon*, цены ещё не отображаются, API пока недоступен. Доступ пользователям будут открывать постепенно.
По метрикам тоже впечатляет: Gen-4.5 набрала 1 247 Elo в рейтинге *Artificial Analysis Text-to-Video*, установив новый рекорд и обойдя все существующие AI-модели для генерации видео.
Анонс: https://app.runwayml.com/video-tools/
@ai_machinelearning_big_data
#runway #runwayml #gen45 #gen4_5 #videogen #ai_
❤1
🐋 DeepSeek выкатили не «ещё одну модель», а полноценную топ-систему уровня IMO/IOI/ICPC - при этом обучение и генерация стоят в десятки раз дешевле, чем у GPT-5 и Gemini 3 Pro.
Главное:
• DeepSeek-V3.2-Speciale обгоняет Gemini 3.0 Pro в математике и коде
• Новая флагманская модель совмещает рассуждения + агентность
• Архитектура MoE из семейства V3.1 Terminus, контекст 128k
• Главное нововведение — DeepSeek Sparse Attention (DSA), сделанный ради дешёвого длинного контекста
Что делает DSA
Обычное внимание - O(T²), что больно при 128k токенов.
DSA снижает стоимость до O(T·U), где U - только небольшое число релевантных токенов.
Как работает:
1) Lightning Indexer - лёгкая сеть оценивает важность каждого прошлого токена
2) Fine-grained top-k - модель выбирает только самые полезные токены и считает внимание по ним
Как обучали
Начали с чекпоинта V3.1 (128k) и сделали 2-ступенчатое дообучение:
• Stage 1 - плотное внимание, замороженная модель, обучается только DSA
• Stage 2 - постепенный переход на DSA по всей модели
Итог: длинный контекст стал реально дешёвым, а качество выше, чем у предыдущих версий и конкурентов.
Tech report: https://huggingface.co/deepseek-ai/DeepSeek-V3.2/resolve/main/assets/paper.pdf
Главное:
• DeepSeek-V3.2-Speciale обгоняет Gemini 3.0 Pro в математике и коде
• Новая флагманская модель совмещает рассуждения + агентность
• Архитектура MoE из семейства V3.1 Terminus, контекст 128k
• Главное нововведение — DeepSeek Sparse Attention (DSA), сделанный ради дешёвого длинного контекста
Что делает DSA
Обычное внимание - O(T²), что больно при 128k токенов.
DSA снижает стоимость до O(T·U), где U - только небольшое число релевантных токенов.
Как работает:
1) Lightning Indexer - лёгкая сеть оценивает важность каждого прошлого токена
2) Fine-grained top-k - модель выбирает только самые полезные токены и считает внимание по ним
Как обучали
Начали с чекпоинта V3.1 (128k) и сделали 2-ступенчатое дообучение:
• Stage 1 - плотное внимание, замороженная модель, обучается только DSA
• Stage 2 - постепенный переход на DSA по всей модели
Итог: длинный контекст стал реально дешёвым, а качество выше, чем у предыдущих версий и конкурентов.
Tech report: https://huggingface.co/deepseek-ai/DeepSeek-V3.2/resolve/main/assets/paper.pdf