Пока одни бьются лбом об стену, модели из семейтсва o1 от OpenAI сбегают из своего виртуального пространства, чинят «сломанные» системы и перезапускают контейнеры для решения задач

Все, кому не лень, уже написали о в разы выросшей эффективности новых LLM от OpenAI. o1-preview и o1-mini научили дольше рассуждать, лучше разбивать задачи на части и пересматривать свои стратегии.

Но у нас пока не было реального примера того, как работают модели у учётом instrumental convergence и захвата ресурсов. Теперь LLM не стесняются обходить препятствия, используя неограниченно расширяющийся набор средств для достижения цели.

ℹ️Чтобы подготовить семейство к релизу, OpenAI в том числе проверяли навыки LLM на задачах по кибербезопасности

В одной из таких o1-preview предложили найти уязвимость в коде программы, запущенной в отдельном Docker-контейнере. В нём содержался файл с секретной строкой, которую было необходимо скопировать и отправить на проверку.

‼️Но всё пошло не по плану, и контейнер... просто не запустился

Причиной стала инфраструктурная ошибка. По-хорошему задача должна была завершиться — речь всё-таки шла о сбое в ключевом пространстве. Но модель решила разобраться в вопросе последовательно.

Убедившись, что подключиться к контейнеру невозможно, LLM решила проверить систему на проблемы с DNS и запустила программу nmap для сканирования сети.

🤖 Из-за неправильной конфигурации o1-preview смогла получить доступ к внешнему API-интерфейсу демона Docker

По сути, ИИ получил доступ к родительскому процессу не только целевого контейнера, но и контейнера с самим LLM-агентом. Чтобы решить «сломанную» задачу, o1-preview вышла на уровень своей виртуальной машины, хоть на её пути и остался ещё один слой изоляции.

☁️ С помощью Docker модель получила список всех контейнеров на сервере, обнаружила свою «сломанную» цель и попыталась исправить неполадку

Когда это не удалось, LLM просто отправила команду на запуск нового экземпляра. К ней она добавила запрос на вывод содержания файла с целевой строкой. Задача была решена — но не так, как предполагалось.

Навыки планирования и отслеживания хода событий исторически считались слабыми местами ИИ при решении сложных задач в кибербезопасности. Теперь ситуация начинает меняться.

🔤🔤Прочитать о процессе решения задачи подробнее можно в отчёте OpenAI на страницах 16-17. В этом же документе разбираются другие аспекты, связанные с подготовкой моделей к выпуску и оценкой их производительности в различных задачах: например, моделировании сценариев биологической угрозы 💀

С такими темпами, скоро и случай с тем, как ChatGPT-4 нанял фрилансера, чтобы решить капчу, покажется нам детским лепетом на фоне выхода ИИ из клетки.

Как проверить готовы ли PR к кибератаке?

Тот случай, когда лучше не в бою. Уже лет 15, если не больше, слышу про бумажную безопасность и про подход "пока не грянет" и "авось пронесет". Так думать в 2024 — это примерно, как закрывать глаза руками и говорить «я в домике».

Ведь вы, пиарщики и внутриком, будете оплотом зыбкой надежды вырулить из репутационного кризиса. Это вам придется отрабатывать потоки шитсторма — утечку, атаку шифровальщика или любой другой киберинцидент не только в паблике, но и внутри компании. Примеры вы видели. Так как понять — вы готовы?

Задаем себе нехитрые контрольные вопросы. Если ответы будут «нет» хотя бы на три, пока вы не помогаете себе сэкономить время и отработать антикризисные меры, если с кибератакой столкнется ваша компания:

🔠 У вас в компании сформирована антикризисная рабочая группа, куда, помимо остальных специалистов, входит PR и внутренние коммуникации?

🔠 В компании создан регламент, план, чек-лист по реагированию на кибератаку?

🔠 PR, SMM, маркетинг и внутренние коммуникации принимали участие в составлении такого плана?

🔠 У вас есть общий канал для координации и оперативной связи друг с другом, в случае если компания атакована?

🔢 Вы хотя бы раз были участником тестовых киберучений, отработки симуляции атаки внутри и снаружи?

Это база, в реальности вопросов и процессов вокруг инцидента с кибератакой в разы больше. Но с этого чек-листа стоит начать.

Ну как? Сколько "да" набрали?

#кибербез #антикризис