🖥 ИИ учится пользоваться ПК

Новая версия модели Anthropic под названием Claude 3.5 Sonnet может управлять компьютером за вас. Специальное API «Computer Use» доступно для разработчиков и пока находится на стадии бета-тестирования. По сути модель имитирует человека, который сидит за ПК: ИИ может по команде водить курсором мыши, имитировать использование клавиатуры, открывать программы и вводить текст.

Как это работает:
➖ ИИ-модель обучена видеть, что происходит на экране, и распознавать доступные программы для выполнения задач.
➖ Claude анализирует изображение экрана в режиме реального времени и подсчитывает, на сколько пикселей по вертикали или горизонтали нужно переместить курсор, чтобы щелкнуть в нужном месте.
➖ Благодаря своей способности просматривать веб-страницы (эта функция появилась у ИИ Anthropic впервые), Sonnet 3.5 может использовать любой веб-сайт или приложение.

Пользователь сам предоставляет разрешения и контролирует выполнение задач. Например, вместо того, чтобы самому составлять маршрут поездки, вы можете перепоручить задачу ИИ — он сам найдёт в интернете лучшие достопримечательности, построит маршрут на картах, рассчитает время поездки и забронирует слоты в календаре.

Anthropic признает, что обновленная версия Sonnet 3.5 пока что испытывает трудности с выполнением базовых действий, таких как прокрутка и масштабирование, и может подвисать.

Также компания не отрицает риски подобных агентов. ИИ с доступом к рабочему столу может потенциально эксплуатировать уязвимости или собирать личную информацию в качестве компромата.

Тем не менее, идея делегировать управление компьютером довольно популярна. Подобные решения с использованием искусственного интеллекта получили название «ИИ-агенты». Согласно опросу Capgemini, 10% организаций уже используют агентов ИИ, а 82% планируют интегрировать их в течение следующих трех лет. Своих ИИ-агентов разрабатывают Microsoft, OpenAI и Salesforce, а также многие стартапы:

➖ ИИ-модель Automat может разбить запись рабочего процесса на пошаговые инструкции и затем выполнять по ним действия от имени пользователя.
➖ Стартап Relay выходца из Google автоматизирует повторяющиеся рутинные задачи вроде отправки писем и перестановок задач в таск-менеджерах.
➖ Инструмент Adept, который недавно приобрела Amazon, обучает ИИ просмотру веб-сайтов и навигации по программному обеспечению.
➖ Решение компании Induced AI, основанной двумя молодыми разработчиками, позволяет ИИ управлять вкладками браузера, выполняя в них рутинные задачи.

Похоже, мир будущего, в которым мы просто говорим компьютеру, что сделать, всё ближе.

#челендж

🎃 Призрак поиска работы

Если вы задумываетесь о смене работы или даже сферы деятельности, но вас останавливают страхи, нерешительность или призраки неудачных прошлых собеседований, обязательно участвуйте в новом челлендже от Хабра Карьеры!

Я являюсь одним из менторов челленджа и буду помогать участникам, которые хотят развиваться в сфере DevRel. В нашей менторской группе эксперты с самыми разными карьерными треками. Вы можете (и должны) задавать вопросы о карьере, развитии навыков, составлении резюме, выполнении тестовых заданий — уверена, вы дополните этот список сами.

Кстати, как участник я тоже буду проходить челлендж в параллельном потоке, где буду учиться преодолевать страх написания текстов. :)

Челленджи будут проходить в чатах — для каждого челленджа будет создан свой чат. Для участия нужно просто вступить в нужный чат и ждать начала — 28 октября. Продолжительность челленджа — 5 дней. Последний день — 1 ноября.

В общем, все подробности в этом посте!

Увидимся в чатах челленджа преодоления! Да пребудут с нами смелость и драйв! 😱