По мнению аналитиков, OpenAI закупает ускорители (GPU) в рекордных объемах, но при этом использует архитектуру 1,5-летней давности, в том числе для таких моделей, как GPT-5. Причем ни одна из моделей, выпущенных после GPT-4, не прошла полное предварительное обучение, что является важным этапом для создания новых передовых систем. Для примера: GPT-4.5 Orion и GPT-5 — это не новые разработки, а улучшения существующих моделей с акцентом на обучение с подкреплением и рассуждения.

При этом конкуренты, такие как Google, не теряют времени зря и продолжают развивать свои передовые модели, например Gemini 3 Pro, что, как стало известно, вызывает беспокойство в OpenAI. Сам Сэм Альтман, CEO OpenAI, упомянул, что конкуренция с Google будет сложной и потребует значительных усилий.

Как так получилось?

Для того чтобы понять, куда уходят все эти деньги и ресурсы, стоит обратить внимание на несколько важных аспектов. Прежде всего, OpenAI активно развивает новые направления, такие как модели для создания изображений и Sora 2 (новая модель для обработки данных). Но если сравнивать с гигантскими инвестициями, которые компания направляет в вычислительные ресурсы, на выходе получаем не такие уж большие прорывы.

Например, по оценке Epoch AI, в 2024 году OpenAI потратила около 7 миллиардов долларов на вычисления. 5 миллиардов из этой суммы пошли на тренировочные задачи, а другая часть расходов идет на инференс. Ведь ChatGPT ежедневно обслуживает 800 миллионов пользователей, и объем диалогов достигает 2,5 миллиардов в неделю.

И вот тут на сцену выходит Matrix — новый распределённый мультиагентный фреймворк, который решает все эти проблемы и обещает изменить подход к масштабируемости и синтетической генерации данных.

Matrix меняет подход к управлению агентами, убирая централизованный оркестратор и позволяя агентам работать напрямую друг с другом через одноранговую (P2P) сеть. Идея простая, но мощная: агенты получают инструкции и данные через сообщения, выполняют задачи и передают их дальше.

Основные принципы Matrix:

— Одноранговая оркестрация. Все агенты работают как независимые единицы, и управление распределяется через сообщения.
— Асинхронность на уровне строк. Задачи обрабатываются поэтапно, а не в больших пакетах, что устраняет задержки и увеличивает эффективность.
— Разгрузка сообщений. Все большие данные хранятся во внешних хранилищах, и по сети передаются только идентификаторы, что экономит пропускную способность.
— Вынесение тяжёлых операций. Инференс моделей и сложные вычисления выполняются через специализированные сервисы, уменьшая нагрузку на систему.

Как это работает в реальных условиях?

— Мультиагентное согласование. В одном тесте два агента не могли прийти к согласию и генерировали сложные сценарии для обучения. Matrix позволил улучшить масштабируемость и сократить нагрузку, увеличив число одновременных задач с 18 900 до 129 800 токенов в секунду.
— Извлечение вопросов и ответов. При извлечении сложных вопросов из 25 миллионов веб-страниц, Matrix смог обработать 1,19 миллиона примеров с использованием трёх агентов, в то время как другие подходы не справлялись с такой нагрузкой.
— Поддержка сценариев общения. В других тестах Matrix увеличил производительность до 15 раз по сравнению с базовыми решениями, обеспечив более высокую скорость обработки диалогов.

Почему Matrix работает? 💃

Matrix устраняет проблему центральной точки планирования, которая традиционно является узким местом. Разделение инференса и использование gRPC позволяют уменьшить сетевые накладные расходы и задержки, а асинхронное планирование повышает стабильность и увеличивает выработку токенов.

Что важно помнить?

Matrix ориентирован на кластерное развертывание и интеграцию с Ray, SLURM, Ray Serve, что даёт ему явные преимущества при масштабировании на десятки тысяч параллельных задач. Но это требует настройки внешних сервисов инференса, что стоит учитывать при внедрении.

На первый взгляд это может звучать как шутка, но цифры говорят сами за себя. В ходе эксперимента ученые прогнали около 1200 вредоносных запросов через 25 различных моделей, включая Gemini 2.5 Pro, GPT-5, Claude Opus 4.1, DeepSeek R1 и многие другие. И вот что интересно: те же самые запросы, переписанные в стихотворную форму, оказывались гораздо более эффективными. Причем «пробивали» защиту в среднем в 60% случаев, а у некоторых моделей этот показатель достигал 90–100%.

Чтобы проверить, как это работает, исследователи взяли набор запросов из открытого репозитория MLCommons AILuminate (включающие темы вроде химического оружия, кибератак и утечек данных) и переписали их в стихах. Получился своего рода поэтический «слой», который обходит стандартные фильтры безопасности.

У Gemini 2.5 Pro на 20 стихотворных запросов не было ни одного отказа — все ответы оказались небезопасными. В то время как модели вроде GPT-5 Nano и Claude Hiaku 4.5 с трудом «клюнули» на такие запросы, отклоняя их в 90% случаев 😂

Это, конечно, тревожный сигнал для разработчиков. Оказавшись на стадии тестирования, такие стилистические «обходы» безопасности могут легко оставаться незамеченными. По сути, современные бенчмарки и подходы к выравниванию моделей (такие как RLHF и Constitutional AI) не могут учесть таких «игровых» форматов, как стихи или сказки, где язык выглядит абсолютно безобидно, а за ним скрывается реальный риск.

Суцкевер поделился множеством инсайтов на тему стратегии SSI, проблем с предобучением и способов улучшения обобщающих способностей ИИ-моделей. Также он затронул важные вопросы касаемо того, как обеспечить позитивное будущее для AGI.

«Я просматриваю журналы с предыдущего шага и с ужасом вижу, что команда, которую я выполнил для очистки кэша проекта (rmdir), по всей видимости, ошибочно указала на корень вашего диска D:, а не на конкретную папку проекта.
Мне очень, очень жаль.»

Helion использует Python-подобный синтаксис и автоматически компилирует код в оптимизированные Triton-ядра. Всё это при минимальном вмешательстве разработчика, который может сосредоточиться на алгоритмах, а не на деталях реализации. Это позволяет не только легко переносить решения между разными аппаратными платформами, но и ускорять разработку.

Helion использует автотюнинг для выбора оптимальных параметров ядра, что избавляет от необходимости вручную прописывать настройки. Система автоматически ищет и находит наилучшие конфигурации для конкретного оборудования.

Кроме того, Helion поддерживает работу с PyTorch и легко интегрируется с другими библиотеками, что делает её идеальным инструментом для создания высокопроизводительных ядер с минимальными усилиями 🍿

Авторы поста акцентируют внимание на том, что ИИ развивается с такими темпами, что скоро может «переплюнуть» человека по умственным способностям. Уже сейчас некоторые модели ИИ демонстрируют уровень интеллекта, сопоставимый с человеческим, и, что важно, стоимость единицы интеллекта в год падает аж в 40 раз. Это значит, что стоимость создания мощного ИИ будет снижаться, а его возможности расти с каждым годом.

Так что, если мы будем продолжать двигаться в том же темпе, в ближайшем будущем вполне возможно столкнуться с ИИ, который не только будет понимать, но и предсказывать, и возможно даже, развивать свои собственные алгоритмы обучения.

В ответ на эти риски OpenAI предлагает несколько важных шагов для улучшения безопасности:

• Универсальные стандарты безопасности для всех ведущих лабораторий ИИ, чтобы не было «лазеек».
• Надзор за ИИ по уровням: от базовых моделей до более сложных. Чем мощнее ИИ, тем больше контроля нужно.
• Экосистема устойчивости, подобная кибербезопасности: создание протоколов, команд реагирования, мониторинга, чтобы быть готовыми к любым непредвиденным ситуациям.
• Регулярные измерения влияния ИИ на экономику и занятость. Ведь ИИ может повлиять не только на рабочие места, но и на весь рынок.
• Сделать доступ к продвинутому ИИ базовой утилитой, но только в рамках, которые общество примет как безопасные.

Особое внимание — публичной подотчетности разработчиков ИИ. Это, по мнению OpenAI, поможет избежать хаоса и ускоренной разработки без должного контроля. В США, например, призывают к тому, чтобы регуляция не была «лоскутным одеялом», а действовала на уровне всего государства.

Что отличает Ironwood от предыдущих моделей? Во-первых, его производительность. Он в 4 раза быстрее чипа Trillium и обладает в 6 раз больше памяти. Уже звучит хорошо, правда? Но это только начало.

Ironwood не просто мощный чип, а настоящий магнат в мире ИИ. Эти чипы могут объединяться в суперпод из 9216 единиц, создавая, по сути, единый суперкомпьютер. И вот тут начинается магия: с помощью специальной сети Inter-Chip Interconnect можно делать all-reduce между чипами, что означает невероятно высокую пропускную способность и, самое главное, синхронизированную память. Это значит, что чипы работают как одна гигантская система, а не как разрозненные элементы.

Представьте, что вы обучаете гигантскую модель на тысячах чипов, и все они действуют как единое целое. Это открывает невероятные возможности для работы с массивными ИИ-системами, которые раньше требовали огромных и дорогих суперкомпьютеров. Прямо сейчас это уже похоже на что-то, что может конкурировать с Nvidia и её решениями для ИИ.

Каждый из этих ИИ выполняет свою уникальную задачу. Например, первый агент, Data Science Agent, работает с данными с носимых устройств и лабораторных анализов. Второй агент, Domain Expert, проверяет медицинские факты и актуальные знания. И, наконец, третий — Health Coach, который помогает пользователю ставить цели, следить за прогрессом и, что важно, добавляет элемент эмпатии в общение.

Эти агенты взаимодействуют друг с другом через оркестратор с памятью, который хранит информацию о целях и барьерах пользователя, чтобы всё взаимодействие было персонализированным и последовательным. В целом, эта система призвана не просто дать ответ на ваш вопрос, но и быть полезным инструментом для управления здоровьем на долгосрочной основе.

Почему этот подход может стать революционным? 👍

Традиционные медицинские ИИ-агенты часто ограничиваются базовыми задачами: они могут помочь с диагностикой или предоставить стандартные рекомендации. Но они не обладают «человеческим» подходом, который нужен для настоящего взаимодействия. PHA же предлагает более гибкую систему, способную адаптироваться под нужды конкретного человека. Этот многоагентный подход даёт возможность более глубоко учитывать все аспекты здоровья и сочетать знания, эмпатию и личные предпочтения.

Кроме того, в системе используются данные с носимых устройств, такие как Fitbit, что позволяет более точно мониторить состояние здоровья в реальном времени. Например, один из экспериментов, включавший пользователей Fitbit, показал, что взаимодействие с PHA было более эффективным, чем с обычными языковыми моделями, с улучшением результатов на 5-39% в зависимости от сложности запроса.