Подход под названием BBQ (Beyond Bare Queries) помогает в решении проблемы автономных агентов по поиску объектов, неоднозначно описанных на естественном языке. Он создает представление 3D-сцены в виде графа с метрическими и семантическими пространственными связями и задействует крупную языковую модель в качестве интерфейса «человек-агент» через наш алгоритм дедуктивного анализа сцены.

Метод, который объединяет графовое планирование с динамическим обновлением сцены, позволяет роботу адаптироваться к изменяющейся среде и корректировать план действий в процессе выполнения задачи.

Новый метод M3PO, расширяющий классическую архитектуру Proximal Policy Optimization (PPO), в которой объединены мультизадачность и модель мира, которую робот выучивает в процессе взаимодействия при онлайн-обучении. В результате метод обеспечивает быстрое обучение компактных с точки зрения количества параметров стратегий, пригодных для быстрого развертывания на робототехнических манипуляторах.

CrafText — бенчмарк для оценки способности агентов следовать инструкциям в мультимодальной среде с разнообразными заданиями и динамическим взаимодействием. CrafText включает 3924 инструкции, содержащие 3423 уникальных слова, и охватывает задачи из разных областей.

Обработка неоднозначных инструкций в реальных условиях представляет сложность для LLM. Существуют различные методы выявления неоднозначности задач, однако их сравнение затруднено из-за использования разных наборов данных и отсутствия универсального эталона. Решить эту проблему поможет AmbiK (Ambiguous Tasks in Kitchen Environment) — полностью текстовый набор данных, содержащий неоднозначные инструкции, предназначенные для робота в кухонной среде.