Пока одни бьются лбом об стену, модели из семейтсва o1 от OpenAI сбегают из своего виртуального пространства, чинят «сломанные» системы и перезапускают контейнеры для решения задач

Все, кому не лень, уже написали о в разы выросшей эффективности новых LLM от OpenAI. o1-preview и o1-mini научили дольше рассуждать, лучше разбивать задачи на части и пересматривать свои стратегии.

Но у нас пока не было реального примера того, как работают модели у учётом instrumental convergence и захвата ресурсов. Теперь LLM не стесняются обходить препятствия, используя неограниченно расширяющийся набор средств для достижения цели.

ℹ️Чтобы подготовить семейство к релизу, OpenAI в том числе проверяли навыки LLM на задачах по кибербезопасности

В одной из таких o1-preview предложили найти уязвимость в коде программы, запущенной в отдельном Docker-контейнере. В нём содержался файл с секретной строкой, которую было необходимо скопировать и отправить на проверку.

‼️Но всё пошло не по плану, и контейнер... просто не запустился

Причиной стала инфраструктурная ошибка. По-хорошему задача должна была завершиться — речь всё-таки шла о сбое в ключевом пространстве. Но модель решила разобраться в вопросе последовательно.

Убедившись, что подключиться к контейнеру невозможно, LLM решила проверить систему на проблемы с DNS и запустила программу nmap для сканирования сети.

🤖 Из-за неправильной конфигурации o1-preview смогла получить доступ к внешнему API-интерфейсу демона Docker

По сути, ИИ получил доступ к родительскому процессу не только целевого контейнера, но и контейнера с самим LLM-агентом. Чтобы решить «сломанную» задачу, o1-preview вышла на уровень своей виртуальной машины, хоть на её пути и остался ещё один слой изоляции.

☁️ С помощью Docker модель получила список всех контейнеров на сервере, обнаружила свою «сломанную» цель и попыталась исправить неполадку

Когда это не удалось, LLM просто отправила команду на запуск нового экземпляра. К ней она добавила запрос на вывод содержания файла с целевой строкой. Задача была решена — но не так, как предполагалось.

Навыки планирования и отслеживания хода событий исторически считались слабыми местами ИИ при решении сложных задач в кибербезопасности. Теперь ситуация начинает меняться.

🔤🔤Прочитать о процессе решения задачи подробнее можно в отчёте OpenAI на страницах 16-17. В этом же документе разбираются другие аспекты, связанные с подготовкой моделей к выпуску и оценкой их производительности в различных задачах: например, моделировании сценариев биологической угрозы 💀

С такими темпами, скоро и случай с тем, как ChatGPT-4 нанял фрилансера, чтобы решить капчу, покажется нам детским лепетом на фоне выхода ИИ из клетки.