Учёные из Google Deepmind представили свою работу по созданию нейросети SIMA (Scalable Instructable Multiworld Agent, Масштабируемый Инструктируемый Многомировой Агент).

Цель SIMA - следовать инструкциям людей на естественном языке для выполнения задач в различных условиях видеоигр. Ученые объясняют её создание так: "как и в реальном мире, виртуальные миры в видеоиграх представляют собой насыщенную обучающую среду с быстро меняющейся в реальном времени обстановкой и целями".

SIMA - это ИИ общего назначения для виртуальных 3D-миров. Эта работа не направлена на достижение высоких результатов в таких играх, а скорее научится взаимодействовать с миром в целом. Научиться играть даже в одну видеоигру - это уже технический подвиг для систем ИИ, но обучение следовать инструкциям в различных игровых ситуациях может открыть более полезные применения ИИ для любой среды.

Пока что SIMA учится на девяти разных видеоиграх. Одна из них это No Man's Sky от студии Hello Games, а вторая - Teardown от Tuxedo Labs. На скринах можно заметить также Valheim, Hydroneer, Wobbly Life, Satisfactory и Goat Simulator 3.

Нейросеть обучают целому ряду навыков, которые ей нужно освоить: от простой навигации и использования меню до добычи ресурсов, полета на космическом корабле или же крафтинга.

Также ученые сделали четыре исследовательские среды на движке Unity, где агентам нужно строить скульптуры из строительных блоков, что проверяет их умение манипулировать объектами и интуитивное понимание физического мира.

Обучается она при этом на стримах людей-игроков, причём один игрок давал указания другому. Также нейросети наблюдают за тем, как игроки играют свободно, без указаний.

Текущая версия SIMA оценивается по 600 базовым навыкам, включая навигацию ("повернуть налево"), взаимодействие с объектами ("подняться по лестнице") и использование меню ("открыть карту").

Результаты работы SIMA демонстрируют потенциал для разработки новой волны универсальных, управляемых голосом ИИ-агентов.

Исследование находится на ранней стадии.

@zavtracast