Can Agent Conquer Web? Exploring the Frontiers of Atlas Agent in Web Games

Протестировали ChatGPT Atlas на способность играть в браузерные игры

Итоги исследования:

Atlas хорошо справляется с задачами, требующими логического мышления и систематического анализа (например, в Sudoku модель решала головоломки значительно быстрее человека).

Модель испытывает серьёзные трудности в играх, где нужны точная координация и управление в реальном времени (в T-Rex Runner и Flappy Bird результаты были намного ниже человеческих)

В RPG-играх (Stein.world) Atlas зависит от чётких инструкций и плохо понимает контекст и сюжет.

Модель демонстрирует некоторые адаптивные способности, например, пытается активировать облегчённые режимы или менять стратегию, но часто не может преодолеть базовые ограничения в управлении и стратегическом планировании.

Короче, Atlas обладает сильными аналитическими способностями, у него есть существенные ограничения в динамичных средах, требующих точного управления, стратегического планирования и понимания контекста.

По ссылке в шапке еще несколько видео с другими играми

#research

Wan 2.2 Animate in ComfyUI - Tips for Control and Quality

Недавний стрим с хитростями для контроля и качества Wan Animate

#tutorial #comfyui #wan22

Awesome World Models

Гитхаб, где собраны актуальные работы на тему моделей понимания/моделирования мира.

#world

IGGT: Instance-Grounded Geometry Transformer for Semantic 3D Reconstruction

Семантический реконструктор 3D сцен от StepFun и Ко.
#SOTA в 3D реконструкции и понимании сцен по 2D изображениям.

На вход принимает видео, набор изображений или RGBD

Сначала модель получает изображения и преобразует их в особый вид представления — токены. Для этого используется DINOv2. Потом эти токены обрабатываются 24 модулями внимания. Они анализируют изображения с разных точек зрения и объединяют информацию в единое представление.

Дальше это представление разделяется на два потока:

— один поток (Geometry Head) занимается геометрией: вычисляет параметры камеры, создаёт карты глубины и облака точек;

— другой поток (Instance Head) выделяет отдельные объекты в сцене, определяя их границы и особенности.

Чтобы лучше связать геометрию и объекты, используется специальный блок — Cross-Modal Fusion Block. Он помогает потоку с объектами «понимать» геометрию сцены, улучшая определение границ объектов. 1

Затем модель группирует найденные объекты в кластеры, используя метод HDBSCAN. Это позволяет создать маски, которые показывают, где в сцене находятся разные объекты. Эти маски можно использовать с разными языковыми моделями, чтобы задавать вопросы о сцене, сегментировать объекты или отслеживать их движение.

Код ждем

#video2scene #rgbd2scene #videoto3d #rgbdto3d #scenereconstruction

Опрос на тему использования нейросетей.

Безвозмездно размещаю в помощь студентам 3 курса

Заполнение формы займет 2-3 минуты

https://forms.gle/F3742QPRGYZzm6VDA

#опрос