🖥 ИИ учится пользоваться ПК

Новая версия модели Anthropic под названием Claude 3.5 Sonnet может управлять компьютером за вас. Специальное API «Computer Use» доступно для разработчиков и пока находится на стадии бета-тестирования. По сути модель имитирует человека, который сидит за ПК: ИИ может по команде водить курсором мыши, имитировать использование клавиатуры, открывать программы и вводить текст.

Как это работает:
➖ ИИ-модель обучена видеть, что происходит на экране, и распознавать доступные программы для выполнения задач.
➖ Claude анализирует изображение экрана в режиме реального времени и подсчитывает, на сколько пикселей по вертикали или горизонтали нужно переместить курсор, чтобы щелкнуть в нужном месте.
➖ Благодаря своей способности просматривать веб-страницы (эта функция появилась у ИИ Anthropic впервые), Sonnet 3.5 может использовать любой веб-сайт или приложение.

Пользователь сам предоставляет разрешения и контролирует выполнение задач. Например, вместо того, чтобы самому составлять маршрут поездки, вы можете перепоручить задачу ИИ — он сам найдёт в интернете лучшие достопримечательности, построит маршрут на картах, рассчитает время поездки и забронирует слоты в календаре.

Anthropic признает, что обновленная версия Sonnet 3.5 пока что испытывает трудности с выполнением базовых действий, таких как прокрутка и масштабирование, и может подвисать.

Также компания не отрицает риски подобных агентов. ИИ с доступом к рабочему столу может потенциально эксплуатировать уязвимости или собирать личную информацию в качестве компромата.

Тем не менее, идея делегировать управление компьютером довольно популярна. Подобные решения с использованием искусственного интеллекта получили название «ИИ-агенты». Согласно опросу Capgemini, 10% организаций уже используют агентов ИИ, а 82% планируют интегрировать их в течение следующих трех лет. Своих ИИ-агентов разрабатывают Microsoft, OpenAI и Salesforce, а также многие стартапы:

➖ ИИ-модель Automat может разбить запись рабочего процесса на пошаговые инструкции и затем выполнять по ним действия от имени пользователя.
➖ Стартап Relay выходца из Google автоматизирует повторяющиеся рутинные задачи вроде отправки писем и перестановок задач в таск-менеджерах.
➖ Инструмент Adept, который недавно приобрела Amazon, обучает ИИ просмотру веб-сайтов и навигации по программному обеспечению.
➖ Решение компании Induced AI, основанной двумя молодыми разработчиками, позволяет ИИ управлять вкладками браузера, выполняя в них рутинные задачи.

Похоже, мир будущего, в которым мы просто говорим компьютеру, что сделать, всё ближе.