Авторы поста акцентируют внимание на том, что ИИ развивается с такими темпами, что скоро может «переплюнуть» человека по умственным способностям. Уже сейчас некоторые модели ИИ демонстрируют уровень интеллекта, сопоставимый с человеческим, и, что важно, стоимость единицы интеллекта в год падает аж в 40 раз. Это значит, что стоимость создания мощного ИИ будет снижаться, а его возможности расти с каждым годом.

Так что, если мы будем продолжать двигаться в том же темпе, в ближайшем будущем вполне возможно столкнуться с ИИ, который не только будет понимать, но и предсказывать, и возможно даже, развивать свои собственные алгоритмы обучения.

В ответ на эти риски OpenAI предлагает несколько важных шагов для улучшения безопасности:

• Универсальные стандарты безопасности для всех ведущих лабораторий ИИ, чтобы не было «лазеек».
• Надзор за ИИ по уровням: от базовых моделей до более сложных. Чем мощнее ИИ, тем больше контроля нужно.
• Экосистема устойчивости, подобная кибербезопасности: создание протоколов, команд реагирования, мониторинга, чтобы быть готовыми к любым непредвиденным ситуациям.
• Регулярные измерения влияния ИИ на экономику и занятость. Ведь ИИ может повлиять не только на рабочие места, но и на весь рынок.
• Сделать доступ к продвинутому ИИ базовой утилитой, но только в рамках, которые общество примет как безопасные.

Особое внимание — публичной подотчетности разработчиков ИИ. Это, по мнению OpenAI, поможет избежать хаоса и ускоренной разработки без должного контроля. В США, например, призывают к тому, чтобы регуляция не была «лоскутным одеялом», а действовала на уровне всего государства.

Что отличает Ironwood от предыдущих моделей? Во-первых, его производительность. Он в 4 раза быстрее чипа Trillium и обладает в 6 раз больше памяти. Уже звучит хорошо, правда? Но это только начало.

Ironwood не просто мощный чип, а настоящий магнат в мире ИИ. Эти чипы могут объединяться в суперпод из 9216 единиц, создавая, по сути, единый суперкомпьютер. И вот тут начинается магия: с помощью специальной сети Inter-Chip Interconnect можно делать all-reduce между чипами, что означает невероятно высокую пропускную способность и, самое главное, синхронизированную память. Это значит, что чипы работают как одна гигантская система, а не как разрозненные элементы.

Представьте, что вы обучаете гигантскую модель на тысячах чипов, и все они действуют как единое целое. Это открывает невероятные возможности для работы с массивными ИИ-системами, которые раньше требовали огромных и дорогих суперкомпьютеров. Прямо сейчас это уже похоже на что-то, что может конкурировать с Nvidia и её решениями для ИИ.

Каждый из этих ИИ выполняет свою уникальную задачу. Например, первый агент, Data Science Agent, работает с данными с носимых устройств и лабораторных анализов. Второй агент, Domain Expert, проверяет медицинские факты и актуальные знания. И, наконец, третий — Health Coach, который помогает пользователю ставить цели, следить за прогрессом и, что важно, добавляет элемент эмпатии в общение.

Эти агенты взаимодействуют друг с другом через оркестратор с памятью, который хранит информацию о целях и барьерах пользователя, чтобы всё взаимодействие было персонализированным и последовательным. В целом, эта система призвана не просто дать ответ на ваш вопрос, но и быть полезным инструментом для управления здоровьем на долгосрочной основе.

Почему этот подход может стать революционным? 👍

Традиционные медицинские ИИ-агенты часто ограничиваются базовыми задачами: они могут помочь с диагностикой или предоставить стандартные рекомендации. Но они не обладают «человеческим» подходом, который нужен для настоящего взаимодействия. PHA же предлагает более гибкую систему, способную адаптироваться под нужды конкретного человека. Этот многоагентный подход даёт возможность более глубоко учитывать все аспекты здоровья и сочетать знания, эмпатию и личные предпочтения.

Кроме того, в системе используются данные с носимых устройств, такие как Fitbit, что позволяет более точно мониторить состояние здоровья в реальном времени. Например, один из экспериментов, включавший пользователей Fitbit, показал, что взаимодействие с PHA было более эффективным, чем с обычными языковыми моделями, с улучшением результатов на 5-39% в зависимости от сложности запроса.

В центре этого чуда технологий — жидкая структура, состоящая из металлоорганической рамки (MOF). Внутри нее есть микроскопические каналы, которые позволяют ионам проходить, как электрическим импульсам в нашем мозгу. Эти каналы как бы «переносят» сигналы, и именно так микрочип обрабатывает информацию.

Но фишка не только в обработке. Этот чип помнит свои «прошлые решения» и меняет поведение в зависимости от того, что он уже «пережил». Это что-то похожее на нейронную сеть, которая учится на собственном опыте. Признайтесь, не круто ли это? 😊

Что это может изменить в будущем?

Суть в том, что этот чип не просто вычисляет данные, как это делает обычный процессор. Он адаптируется, учится, становится умным. И если такие чипы станут массовыми, то можно будет говорить о совершенно новом уровне вычислительных технологий — когда память и обработка данных объединяются в одном устройстве.

Основная фишка TRM — рекурсивный цикл рассуждений. Модель не просто выдаёт ответ, а постепенно строит его через несколько этапов, оценивая свои собственные выводы. Это как если бы вы несколько раз перечитывали и исправляли свой черновик, улучшая его на каждом шаге. Подобный подход снижает вероятность ошибок и делает выводы более точными, чем в классических цепочках рассуждений.

Итак, TRM генерирует промежуточный вывод, на основе которого делает следующий шаг. Такой цикл помогает модели улучшать свои решения, избегая хрупкости, когда одна ошибка может разрушить весь процесс. С точки зрения ученых, это «уменьшение слоёв и увеличение рекурсии» помогает модели лучше обобщать и адаптироваться.

Результаты TRM: впечатляющие даже без миллиардов параметров 👍

TRM показал отличные результаты в задачах, где требуется логическое рассуждение и итеративное улучшение решения. Например, на тесте Sudoku-Extreme модель набрала 87,4% точности (для сравнения, другие модели — около 55%). На других задачах, как Maze-Hard, TRM тоже показала отличные результаты.

Для модели с 7 миллионами параметров это действительно круто, особенно если учесть, что её конкуренты используют миллиарды параметров для того же. Но важно понимать, что TRM всё ещё не универсальна — для сложных и многозадачных применений всё-таки нужны более крупные модели.

Почему это важно для инженеров и продуктовых команд?

TRM доказывает, что размер модели — это не единственный путь к успеху. Архитектурные инновации, такие как рекурсия и алгоритмическая экономия, могут дать серьёзный прирост в ресурсах и энергоэффективности. Для edge AI (то есть ИИ на устройствах с ограниченными ресурсами) это особенно актуально — такие модели могут значительно уменьшить требования к памяти и мощности.

Небольшие модели с рекурсивным контролем могут значительно упростить внедрение «умных» функций на устройствах с ограниченными ресурсами и снизить эксплуатационные затраты на серверные мощности. Это открывает новые возможности для создания более доступных и эффективных решений.

Все мы слышали про трансформеры и их возможности, но одно остаётся неизменным: их возможности пока далеки от того, как работает человеческий мозг. В Pathway решили, что пора бы их объединить. И вот что получилось: графовая архитектура, где нейроны — это вершины, а связи между ними — синапсы с весами. То есть, модель работает как распределённая система нейронов, которые взаимодействуют только с соседями. Нечто похожее на то, как мы мыслим и учим нашу память.

А обучение в этой системе строится по принципу, похожему на правило Хебба: если два нейрона часто активируются одновременно, их связь укрепляется. Это похоже на механизм внимания, с которым мы так привыкли работать в трансформерах. А ещё, веса здесь разделены на два типа: фиксированные и динамические. Первые — это как долговременная память, они не меняются после обучения, а вторые — кратковременная память, которая обновляется с каждым шагом рассуждения.

BDH: новые горизонты и интересные фишки

Новая архитектура не только выглядит амбициозно, но и показала себя с лучшей стороны в реальных задачах. Во-первых, она удивительно интерпретируемая: каждая пара нейронов в BDH имеет свой синапс и состояние, которое можно отслеживать. Каждый нейрон отвечает за какое-то конкретное понятие, и это открывает новые возможности для объяснения того, как работает модель.

Во-вторых, BDH очень легко комбинируется с другими моделями. Простой способ конкатенации позволяет масштабировать систему, создавая всё более мощные комбинации. Ну и самое приятное: BDH демонстрирует те же свойства масштабируемости, что и GPT-2, при этом достигает той же точности на ряде задач при одинаковом количестве параметров. Модель не теряет свойства трансформеров — с каждым новым шагом она остаётся сильной и точной.

Некоммерческая часть, которая теперь называется OpenAI Foundation, будет заниматься стратегией, миссией и управлением. А вот коммерческое подразделение, известное как OpenAI Group, теперь официально зарегистрировано как public benefit corporation (PBC) — компания, которая обязана учитывать не только прибыль, но и общественную пользу. Это довольно важный шаг, который мог бы повлиять на будущее ИИ-разработок.

Кстати, здесь есть интересный момент: рыночная стоимость доли Microsoft в OpenAI Group сейчас оценивается в 135 миллиардов долларов — это целых 27% от общей капитализации. Партнёрское соглашение между OpenAI и Microsoft продлили до 2032 года, а вот интересное уточнение: Microsoft теперь получила права на использование будущих post-AGI моделей. Но вот устройства, которые разрабатывает команда Сэма Альтмана вместе с Джони Айвом (да-да, тот самый дизайнер Apple), в это соглашение не включены.

Есть ещё одна важная деталь: теперь Azure больше не является эксклюзивным поставщиком вычислительных мощностей для OpenAI, хотя контракт на 250 миллиардов долларов остаётся в силе. Это, наверное, намекает на то, что OpenAI стремится к большей технологической независимости и, возможно, готовит свою инфраструктуру, чтобы конкурировать с крупнейшими облачными провайдерами. И кто знает, может в будущем мы увидим что-то действительно революционное?

Для 1988 года это был настоящий прорыв. Свёрточные нейросети, которые сейчас мы воспринимаем как нечто обычное, только начинали свой путь. Сегодня эти системы могут распознавать лица на фотографиях, анализировать контекст изображений и даже генерировать новые изображения на основе текста. Но тогда? Тогда это было как сделать машину времени из старого компьютера.