⚡️ Microsoft начала внедрение ускорителя Maia 200.

Microsoft выкатывает 2 поколение собственного ИИ-чипа Maia, который должен снизить зависимость от Nvidia и оптимизировать расходы на инфраструктуру.

Ускорители уже поступают в дата-центры MS в США, а разработчикам открыли доступ к SDK, хотя сроки публичного запуска инстансов в Azure пока не названы.

Maia 200 — это решение на 3-нм техпроцессе, содержащее более 140 млрд. транзисторов. Архитектура специально заточена под инференс: заявлена производительность свыше 10 петафлопс в точности FP4 и 5 петафлопс в FP8.

Подсистема памяти включает 216 ГБ HBM3e с пропускной способностью 7 ТБ/с, дополненные 272 МБ сверхбыстрого SRAM-кэша на кристалле. TDP одного чипа составляет 750 Вт.

Maia 200 работает в 3 раза быстрее Amazon Trainium 3 и превосходит Google TPU v7 в FP8 (где чип выдает 5 петафлопс).

Архитектура оптимизирована под инференс и поддерживает бесшовное масштабирование в кластеры до 6144 ускорителей.

Новый чип запредельно эффективен экономически: показатель производительности на доллар у Maia 200 на 30% выше, чем у актуального железа конкурентов.


@ai_machinelearning_big_data

#news #ai #ml

📌OpenAI рассказала как устроен Codex CLI.

OpenAI выкатила подробный разбор того, как работает Codex CLI — локальный агент, который работает с кодом на вашей машине. Если вы пилите своих агентов — это мастрид про механику работы с контекстом и борьбы за кэш.

🟡Все держится на agent loop.

Работает это так: вы кидаете запрос, а система собирает огромный промпт с инструкциями. На этапе инференса модель выдает либо текст, либо запрос на вызов инструмента.

Агент выполняет команду, вклеивает результат обратно в промпт и снова стучится к модели. И так до победного, пока ассистент не решит, что задача выполнена.

Главное помнить про лимит: инструкции из AGENTS.md и корневых папок проекта агрегируются в один JSON, который ограничен 32 Kb. Больше впихнуть не получится.

🟡Почему контекст такой дорогой

Тут кроется главная боль. История диалога растет с каждым сообщением, и этот хвост приходится пересылать заново при каждом запросе. С такой механикой стоимость должна расти квадратично, и это было бы финансово, мягко говоря, чувствительно

Но OpenAI подумала о нас - чтобы мы не разорились, используется кэширование промптов. Если префикс запроса не меняется, инференс остается линейным. И как бы все ок, но кэш невероятно чувствителен. Стоит поменять порядок инструментов в списке или чуть подправить конфиг сэндбокса — все, кэш-хита не будет и придется расчехлять заначку.

🟡Почему всё стало Stateless

Заметили, что из API исчез previous_response_id? Это не баг, а фича. OpenAI перешли на полностью на модель без сохранения состояния. Это нужно для Zero Data Retention конфигураций, чтобы провайдер вообще не хранил ваши данные.

Даже когда агент передает цепочку ризонинга из прошлых шагов, она идет в зашифрованном поле. Ключ на сервере, данные у клиента, никто ничего не хранит.

🟡Магия компакции

Когда контекстное окно начинает трещать по швам, включается механизм компакции. Раньше /compact вызывали руками, теперь за это отвечает эндпоинт.

Вместо того чтобы просто выкидывать старые сообщения, модель сжимает их в особый тип блока. Это такой черный ящик с зашифрованным смыслом беседы. Он занимает минимум места, но позволяет модели не забывать, о чем шла речь пять минут назад. Процесс запускается сам, как только вы упираетесь в auto_compact_limit.

Кстати, если вы не знали: Codex CLI работает не только с серверами OpenAI. Флаг --oss подключает локальные модели через Ollama или LM Studio.

В следующих статьях обещают подробности про архитектуру CLI, как реализовано использование инструментов и модель песочницы Codex.


@ai_machinelearning_big_data

#AI #ML #CodexCLI #OpenAI

✔️ Китай разрешил Alibaba, Tencent и ByteDance закупить 400 тыс. Nvidia H200.

Пекин дал добро, и это выглядит как вынужденный шаг назад. Регулятор пытается усидеть на двух стульях: с одной стороны стратегия импортозамещения, с другой - лидерам рынка нужно актуальное железо прямо сейчас, ведь на своих чипах далеко не уедешь.

Но ситуация запутанная. Источники Reuters говорят, что лицензии выдают с кучей жестких условий, которые даже не успели толком согласовать.

Один инсайдер выразился конкретнее: ограничения настолько суровые, что разрешение вроде бы есть, а превратить его в реальный заказ компании пока не могут. Впрочем, очередь за лицензиями все равно уже выстроилась.
reuters.com

✔️ Figure AI создала нейросеть Helix 02 для управления роботами.

Компания показала, как робот Figure 03 загружает посудомойку - 61 действие подряд без сбоев. Раньше писали отдельные контроллеры для ног и рук, из-за чего любое движение корпуса сбивало прицел манипуляторам. Теперь всем телом управляет единая архитектура Helix 02.

Выглядит это пугающе естественно. За моторику отвечает сеть System 0 (10 млн. параметров), которую натаскали на 1000 часах человеческих движений. Она работает с частотой 1 кГц.

Инженеры говорят, что новый подход позволил удалить 109 тыс. строк кода, который раньше отвечал за координацию. Figure AI называет это самой сложной автономной задачей в истории гуманоидов.
figure.ai

✔️ У Gemini появилось агентное зрение.

Раньше модель воспринимала изображение пассивно, а теперь она использует цикл «думай-действуй-наблюдай». Работает это так: если нужно рассмотреть мелкую деталь, Gemini сама пишет и исполняет код, чтобы приблизить, обрезать или разметить нужный участок. Это лечит старые болячки. Чтобы посчитать объекты, она теперь рисует рамки и нумерует их по порядку.

С таблицами то же самое: никаких галлюцинаций, только реальные вычисления через код. Google обещает прирост качества на 5–10%. Обновление уже раскатывают в AI Studio, Vertex AI и приложении Gemini (режим Thinking).
blog.google

✔️ DecartAI выпустили Lucy 2.0, которая меняет видео на лету в 1080p.

В Full HD при 30 кадрах в секунду система успевает менять одежду, персонажей или фон по текстовому запросу практически, как говорят разработчики, без задержек. Модель работает без привычных 3D-движков и карт глубины. Она понимает физику движений, опираясь только на видео-паттерны. За стабильность картинки при длительной генерации отвечает алгоритм Smart History Augmentation.

Работает все на чипах AWS Trainium3 — видимо, только так удалось убрать задержки. В деле Lucy 2.0 можно попробовать тут.
decart.ai

✔️ Рейтинг безопасности LLM от ADL: Claude лидирует, Grok провалил тесты на экстремизм.

Антидиффамационная лига (ADL) проверила, насколько легко современные модели выдают хейт-спич и экстремизм. Они прогнали 25 тыс. диалогов через 6 топовых моделей, и результаты оказались, мягко говоря, неоднозначными.

Лучше всех защищена Claude: 80 баллов из 100. А вот Grok с треском провалил тест, получив всего 21 балл. Самое слабое место Grok - работа с картинками и документами. В мультимодальных задачах он показал полный ноль: он просто не видит токсичный контент, если тот не написан текстом.

Итоговое распределение мест по убыванию: Claude, ChatGPT, DeepSeek, Gemini, Llama, Grok.
adl.org


@ai_machinelearning_big_data

#news #ai #ml

Рекомендации, поиск и реклама решают одну и ту же задачу 🤝
Быстро понять интент пользователя и показать ему нужное.

Команда AI VK за год собрала Discovery-платформу — единый инфраструктурный слой для персонализации:

По сути, это переход от множества ML-стеков к централизованной системе данных, моделей и пайплайнов.

Что это дало:
• полный цикл «идея → эксперимент → прод» сократился в 5 раз
• новый рекомендер теперь можно запустить в среднем за месяц
• инженеры не собирают стек с нуля

И самое приятное — продуктовые метрики:
+17,4% времени просмотра в VK Клипах
+40% сохранённых треков в VK Музыке
+70% релевантности рекомендаций в VK Видео

Как это устроено под капотом и из каких компонентов состоит платформа — команда подробно разобрала в большом материале.

🌟 Tencent HPC-Ops: решение, которое выжмет максимум из H100 и H200.

Продакшен больших моделей — штука дорогая и в таких масштабах реально бьются за каждый процент скорости.

Tencent Hunyuan AI Infra выложила в открытый доступ HPC-Ops - рабочую библиотеку, на которой, в том числе, крутится их собственная инфраструктура.

Разработчики решили не латать старое, а переписали все с нуля на чистой CUDA и CuTe специально под архитектуру Hopper.

И это логично: популярные решения вроде vLLM или дефолтного FlashAttention часто не до конца утилизируют возможности железа. В HPC-Ops же целью была максимальная загрузка GPU.

Внутри есть все, что нужно для сборки серьезного инференса: оптимизированные ядра внимания с paged attention, квантованный Grouped GEMM с поддержкой FP8 и блочным скейлингом, Fused MoE и инструменты связи нод для распределенных систем.

На своих моделях с HPC-Ops у Tencent пропускная способность выросла на 30%, а для DeepSeek на 17%. Но интереснее всего дела обстоят с H20: там библиотека бустит ускорение до 2.22x по сравнению с тем, что было раньше.

Если закопаться в цифры, то самый большой прирост на декодинге. Механизм внимания в BF16 на декоде работает в 2.2 раза быстрее, чем связка из FlashInfer, FlashAttention и TensorRT-LLM.

На префилле профит поменьше — около 1.33x, но это тоже очень ощутимо.

С FP8 история похожая: ускорение в 2 раза на декодинге и небольшие, но приятные 12% на префилле. Тот же FusedMoE в FP8 прибавляет почти 50% скорости в режиме префилла.

HPC-Ops дружелюбен к vLLM и SGLang, но имейте в виду, что старое железо тут не поддерживается, это инструмент для карт SM90.

В планах на будущее:

🟢sparse attention;
🟢поддержка 4-битного квантования;
🟢новые ядра, которые будут схлопывать вычисления и передачу данных между GPU.

Если вы сейчас оптимизируете инференс на Хопперах и боретесь за каждый токен в секунду эту штуку стоит как минимум потестить.


📌Лицензирование:  MIT License.


🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #HPCOps #Tencent

✔️ Deepmind раскатывет Project Genie.

Экспериментальный прототип Project Genie стал доступным для американских подписчиков тарифа Gemini Ultra. Проект построен на модели мира Genie 3 и может генерировать игровые 2D/3D-окружения по текстовым описаниям или референсным изображений, а затем свободно перемещаться по ним в реальном времени.

На старте доступны функции создания, исследования и модификации локаций. Генерация мира происходит процедурно прямо в процессе взаимодействия.

Длительность сессии - до 60 секунд, есть задержки отклика и визуальные артефакты. Под капотом - Nano Banana Pro и Gemini.
blog.google

✔️ DeepSeek будет делать ИИ-поисковик и платформу автономных агентов.

Китайский стартап открыл массовый наем специалистов для создания поисковой системы. Судя по описаниям вакансий, DeepSeek строит мультимодальный движок, который будет обрабатывать запросы через текст, изображения и аудио на разных языках.

Вторым вектором хантинга стали автономные агенты. Компания ищет инженеров для создания инфраструктуры постоянно работающих ИИ-помощников, способных решать задачи с минимальным вмешательством человека.

Конечной целью в описании позиций компания называет создание AGI.
bloomberg.com

✔️ Ai2 выложил открытых кодинг-агентов SERA.

Институт Аллена представил семейство открытых ИИ-агентов SERA, оптимизированных для работы с реальными кодовыми базами. Флагманская модель SERA-32B успешно решает более 55% задач в SWE-Bench Verified, опережая Qwen3-Coder и проприетарный Devstral Small 2. Младшая версия на 8 млрд. параметров - 29,4%, это тоже выглядит бодро для сопоставимой весовой категории.

Самое крутое здесь — это ценник. Инженеры научились тренировать агентов всего за $400, что примерно в 100 раз дешевле привычных методов. Секрет такой экономии в использовании синтетических данных.

Ai2 выкатили в опенсорс вообще все, включая скрипты для интеграции с Claude Code. Теперь, чтобы поднять собственного ИИ-разработчика, достаточно прописать буквально пару строчек кода..
allenai.org

✔️ Nvidia открыла стек ИИ-моделей для прогноза погоды.

Чипмэйкер опубликовал семейство открытых моделей и библиотек Earth-2, которое заменяет тяжелые физические симуляции нейросетями. Earth-2 генерирует метеопрогнозы на порядки быстрее и дешевле традиционных численных методов NWP.

В релиз вошли 3 архитектуры: Medium Range дает глобальный прогноз на 15 дней вперед по 70+ параметрам, генеративная система Nowcasting следит за штормами здесь и сейчас с окном прогноза до 6 часов и разрешением в километр и третий модуль, Global Data Assimilation, сокращает время расчета начальных атмосферных условий с часов до секунд.

Первые две уже доступны на GitHub и Hugging Face, а выход модуля ассимиляции данных запланирован на 2026 год.
nvidia.com

✔️ Google вывела фреймворк LiteRT в релиз.

Google официально отправила LiteRT (тот самый TensorFlow Lite) в стабильный продакшн. Разработчики наконец-то получили нормальный, унифицированный доступ к NPU от Qualcomm и MediaTek. Плюс ко всему, новый движок ML Drift на GPU обгоняет классический TFLite в среднем в 1,5 раза.

Результаты бенчмарков на Samsung S25 Ultra выглядят почти нереально: на Gemma 3 LiteRT умудрился обойти llama.cpp в 3 раза на процессоре и в 19 раз на GPU (в prefill).

Если вы раньше страдали при переносе моделей, хорошая новость: теперь есть прямая конвертация из PyTorch и JAX. При этом старые наработки не сломали: формат .tflite поддерживается, но Google рекомендует использовать новый API CompiledModel.
developers.googleblog.com

@ai_machinelearning_big_data

#news #ai #ml