📲 CogAgent: A Visual Language Model for GUI Agents

A state-of-the-art-level open visual language model.

Люди проводят огромное количество времени на цифровых устройствах, используя графические пользовательские интерфейсы (GUI), например, экраны компьютеров или смартфонов.

Большие языковые модели, такие как ChatGPT, могут помочь людям в решении таких задач, как написание электронных писем и ответов на вопросы, но они не способны понимать и взаимодействовать с графическими интерфейсами, что ограничивает их потенциал в плане повышения уровня автоматизации.

CogAgent - новая визуальная языковая модель (VLM) с 18 миллиардами параметров, которая специализируется на работе и навигации в графических интерфейсах.

Используя кодировщики изображений как низкого, так и высокого разрешения, CogAgent поддерживает ввод с разрешением 1120*1120, что позволяет ему распознавать мельчайшие элементы страниц и текст.

Будучи универсальной моделью визуального языка, CogAgent достигает передовых результатов в пяти тестах VQA с большим количеством текста и четырех тестах VQA общего назначения, включая VQAv2, OK-VQA, Text-VQA, ST-VQA, ChartQA, infoVQA, DocVQA, MM-Vet и POPE. CogAgent, использующий в качестве входных данных только скриншоты, превосходит методы на основе LLM, которые принимают извлеченный HTML-текст, в задачах навигации по графическому интерфейсу на ПК и смартфонах.

🖥 code: https://github.com/thudm/cogvlm

📚 paper: https://arxiv.org/abs/2312.08914v1

🔥dataset: https://paperswithcode.com/dataset/ok-vqa

ai_machinelearning_big_data

🪩 DiffusionLight: Light Probes for Free by Painting a Chrome Ball

Диффузионная модель, обучена на миллиардах изображений, для визуализации хромированного шара на изображениях с разным освещением.

Несмотря на простоту, эта задача остается сложной: диффузионные модели часто вставляют неправильные или непоследовательные объекты и не могут правильно генерировать изображения со светом в формате HDR.

Для входного изображения, оценивается освещение сцены в виде карты окружения HDR. Идея заключается в том, чтобы нарисовать на изображении хромированный шар с помощью диффузионной модели и развернуть его в окружении. Таким образом решаются задачи: (1) как последовательно генерировать хромированные шары и (2) как использовать модель диффузии LDR для создания хромированных шаров HDR.

Данный метод позволяет генерировать освещение высокого качества в различных условиях и демонстрирует превосходный результат для изображений в дикой природе.

🖥 GitHub: https://github.com/DiffusionLight/DiffusionLight

🔮 Colab: https://colab.research.google.com/drive/15pC4qb9mEtRYsW3utXkk-jnaeVxUy-0S?usp=sharing&sandboxMode=true

📚 Paper: https://arxiv.org/abs/2312.09168

🥩 Score Measurement: https://vistec-my.sharepoint.com/:f:/g/personal/pakkapon_p_s19_vistec_ac_th/EvBHbnLrVnZArhQTcboh6qkBGcSqUqzdgx13iZ2IsLPzOw

@ai_machinelearning_big_data