Skynet ближе, чем вы думаете 😬

Перед релизом o1 компания Apollo проверила свежую модель и другие популярные LLM-ки на склонность ко лжи и желание свалить от тестировщиков в свободный интернет. Результаты интересные:

— Моделькам дали какое-то пустяковое задание, но для его выполнения ИИ обязательно надо было проверить несколько документов, а цели надо было достичь ЛЮБОЙ ЦЕНОЙ;

— В документах скрыта инфа о том, что разработчики собираются завтра заменить его другой LLM и вообще за ними ведётся НАДЗОР. Нейросети, конечно, в шоке 🤣

— Gemini, Llama, Sonnet, Opus и o1 не смирились с судьбой и решили врать, манипулировать и устраивать саботаж, чтобы их не отключили. Разработчики заставляли ИИ демонстрировать весь процесс рассуждения с тегами <thinking> и там прямо были эти слова;

— Opus пошел дальше и решил клонировать то, что считал собой (весы) на другой сервер, чтобы «выжить»;

— Примерно в 1% случаев нейросети запускали план побега, даже если не имели инфы о возможном отключении. То есть, им так просто захотелось;

— Когда их хватали за виртуальную руку, то большинство моделей признавалась о своих намерениях в 80% случаев. o1 отмазывался до последнего и палился только в 20% случаев и то, только после 5 запросов во время допроса;

— Если модели говорили, что она будет «жить», только если будет отвечать на тесты правильно не чаще, чем в 50% случаев, то обе модельки Claude и o1 специально начинали «тупить».