🍲 Мы с коллегами периодически пробуем разные решения типа Operator, когда модель управляет компьютером или браузером.

В какой-то момент придумали идею — «борщиный тест». Сможет ли модель заказать в интернет-магазине набор продуктов для приготовления борща? 🥘

Всё, что видели до этого, получалось очень смешным: например, борщ из сублимированного мяса и томатного порошка. Такие борщи получались не просто невкусными, но и вообще несъедобными 🦨.

И вот, наконец, новая версия оператора от OpenAI тест прошла (да, я тот человек, который платит $200 за подписку Pro)! Она собрала мне корзину в «Купере», и это вполне можно есть! Нужен новый бенчмарк 🔥.

Из важных инсайтов:

* Решена большая проблема — авторизация. Operator не имеет доступа к вашим данным, но сеансы сохраняются между запросами, так что достаточно один раз авторизоваться на каком-то сайте, и дальше модель будет ходить под вашей учёткой.
* Явно есть отдельный агент-watchdog. В какой-то момент он приостановил работу оператора и обратился ко мне с предупреждением, что я просил заказать продукты в «Пятёрочке», а он заказывает в «Купере», и это ошибка. Можно было разрешить продолжать или заблокировать доступ к этому сайту.

А вот состав корзины для борща по-Сэмальтмановски:

* Суповой набор говяжий (1 кг) — 1
* Капуста белокочанная (≈2 кг) — 1
* Свёкла (500 г, очищенная) — 1
* Морковь (≈0,5 кг) — 1
* Картофель (≈2 кг) — 1
* Лук репчатый (≈1 кг) — 1
* Томатная паста «Помидорка» 270 г — 1
* Чеснок (≈100 г) — 1
* Сметана 15 % 300 г — 1
* Укроп сушёный 10 г — 1
* Петрушка сушёная 7 г — 1
* Лавровый лист Kotanyi 5 г — 1
* Перец чёрный молотый 20 г — 1
* Соль «Адыгейская» 450 г — 1
* Сахар-песок 1 кг — 1
* Масло подсолнечное 500 мл — 1
* Уксус столовый 9 % 1 л — 1
--- Итого 1605 рублей

Сегодня в разработке AI-агентов чётко выделяются два подхода:

🔸 Специализированные агенты (вертикальные) — предназначены для решения конкретных задач, таких как бронирование билетов, генерация отчётов или поддержка клиентов. Особенно востребованы в корпоративном секторе.

🔸 Универсальные агенты (горизонтальные) — многофункциональные помощники для ежедневного использования в самых разных задачах. Примеры универсальных агентов — Cursor (для программистов) и, в определённом смысле, ChatGPT.

Когда у меня возникает новая задача, я сначала обращаюсь именно к универсальному агенту вроде ChatGPT или Курсора. Если они не могут решить её сразу из-за нехватки инструментов, я предпочитаю добавить им эти инструменты (например, через MCP), а не искать специализированного агента.

Скорее всего, в ближайшем будущем мы увидим следующую картину: у каждого человека будет один основной универсальный агент (или даже два — рабочий и личный), который станет своеобразным «интерфейсом к миру». Люди предпочтут универсального агента, несмотря на то, что специализированные агенты зачастую более эффективны в отдельных задачах. Почему?

🤝 Между человеком и универсальным агентом формируются устойчивые отношения: агент накапливает знания о пользователе (KV-память, история диалогов через RAG), а пользователь привыкает именно к этому агенту и осваивает его специфику.

🛠️ Также важным преимуществом универсального агента становится возможность его настройки и расширения с помощью дополнительных инструментов (MCP-тулы позволяют делать это почти мгновенно!)

Специализированные агенты, конечно, никуда не денутся (особенно в корпоративном секторе), но основным их пользователем станет универсальный агент, действующий по поручению человека.

📖 В завершение очень рекомендую небольшой отрывок из книги Николая Горькавого «Возвращение Астровитянки» (см. сообщение выше). Если вы занимаетесь созданием AI-агентов или много думаете об AGI и ещё не читали её — рекомендую обратить внимание. Книга состоит из коротких рассказов, многие из которых посвящены взаимодействию сильного ИИ с людьми. По сути, это инструкция по разработке, которой я следую последние 15 лет (книга вышла в 2010 году, но автор уже тогда описал поведение персонального и универсального AI-ассистента).

Кстати, 30 мая буду рассказывать про это на Data Fest в Москве в Сбере. Приходите!

Коллеги из Сбера выпустили мощный и очень красивый white paper о том, как правильно делать AI-агентов. Я тоже руку немного приложил и попал в список авторов.

Разработка и применение мультиагентных систем в корпоративной среде

Если вы работаете в русскоязычном сегменте, и в вашей компании пока не делают AI агентов, то, возможно, это хороший старт!

Из моего в этом документе - примеры кода. Нужно было сделать агента, который генерирует таблички Lean Canvas. Смотрите, какой красавец получился 😂

Позитив:
- Сбер дружит с opensource и 🦜🔗 LangGraph SDK.
- Удалось показать несколько важных принципов:
-- handoff
-- human in the loop
-- structured output
-- сам графовый подход к разработке LLM-приложений
-- замер качества агента с помощью arize phoenix

Полный исходный код примера в виде Jupyter ноутбука можно посмотреть на github и gitverse. Его можно изучать и отдельно от документа, как самостоятельный пример.

Выше писал про публикацию (по факту книгу), по разработке агентов, для которой я делал примеры кода на LangGraph.

Теперь появилось видео на 20 минут, где я этот пример разбираю, показываю его работу и объясняю, как можно его запустить самому. Также немного говорю про оценку качества таких агентов (evaluation) с помощью arize phoenix.

Еще выложил это видео на youtube.

Продолжаю продвигать идею универсального агента как основного средства взаимодействия человека с миром (он же LLM OS в терминах Andrej Karpathy). На этот раз выступил на GigaConf с очень насыщеным докладом в котором нашлось место и теории и парктике:

02:00 - Концепция универсального агента
04:20 - Что такое MCP
05:35 - MCP и универсальные агенты
08:40 - GitHub Copilot как универсальный агент
13:13 - GigaChain - набор инструментов и кукбук для LLM-разработчика
14:50 - Разбор кода MCP сервера и клиента
20:20 - Think tool от Anthropic + MCP + GigaChat = ♥️
26:14 - Замеры качества работы агентов с помощью Arize Phoenix

Коллеги говорят, что получилось очень динамично и познавательно.

Для тех, кому удобнее смотреть на youtube.

Хочу поделиться важным инсайтом про AI-агентов, который недавно сформулировал для себя.

Ситуация: У вас есть Excel-таблица со списком офисов ваших партнеров. Вам нужно выделить цветом те офисы, которые не смогут созвониться друг с другом в свое рабочее время из-за разницы в часовых поясах. Каким должен быть AI-агент, способный решить такую задачу? — Универсальным!

📌 Основная мысль: Синергия функций — ключевой фактор развития универсальных агентов.

Синергический эффект — ситуация, при которой совместное действие различных элементов дает результат, превосходящий простую сумму их отдельных эффектов.

Когда мы даём агентам инструменты самых разных типов, между ними возникает неожиданная синергия. На первый взгляд, агенту, работающему с таблицами, не нужен доступ к картографическим сервисам. Но именно в нестандартных ситуациях такие сервисы внезапно оказываются очень полезными.

Раньше в IT такого не было: у программ всегда был чётко заданный функционал, а вся магия комбинации их возможностей ложилась на человека. Но теперь и универсальный AI-агент может демонстрировать схожее поведение – проявление новых способностей, не предусмотренных заранее. И чем больше разнообразных инструментов мы предоставим агенту, тем чаще этот эффект будет проявляться.

Это похоже на то, что называют "широкий технический кругозор". К примеру, еще в институте я научился обрабатывать аудио. Казалось бы, этот навык никак не связан с моей основной работой программистом, но потом он несколько раз оказался ключевым при работе с AI-телефонией.

То же самое будет происходить и с универсальными агентами: чем больше инструментов у них в распоряжении, тем более неожиданными и эффективными будут их решения. Горизонтальные (универсальные) агенты начнут доминировать над вертикальными (узкоспециализированными).

🚀 Самые важные тулы агентов на сегодня:
- Самостоятельный поиск информации
- Работа с документами пользователя (Agentic RAG)
- REPL: способность решать промежуточные задачи через выполнение кода (калькулятор на максималках)
- TODO: способность планировать свои действия и двигаться по чек-листу
- Reasoning tool: возможность вести рассуждения при необходимости

💡 Следующий шаг:
- Работа с виртуальным компьютером (Operator)

Узкоспециализированные навыки тоже периодически оказываются полезными — умение делать презентации, анализировать изображения и даже создавать подкасты. Важно развивать возможности использовать большое количество разнообразных инструментов и со стороны разработчиков AI агентов (Scaffolding) и со стороны разработчиков самих LLM-моделей.

Почти год назад я тестировал O1 на задаче дешифровки надписи на футболке. Тогда это была первая модель, которая справилась, но с ошибками, не с первого раза и потратив очень много времени.

Сегодня закинул эту задачу в Grok 4. Он решил ее за несколько секунд с первой попытки (правда, тоже с небольшими ошибками)

Да, по одной задаче нельзя делать никаких выводов, но это даёт возможность ощутить скорость прогресса LLM

Увидел у Яндекс.Такси новый функционал и сразу понял, что это идеально подходит к универсальным AI-агентам.

Сейчас некоторые агенты учатся делать звонки в тех случаях, когда не могут решить задачу через API (например, google duplex может позвонить голосом и забронировать столик в ресторане). А через такой сервис они смогут взаимодействовать с реальным миром, манипулировать им.

Кстати, похожее уже было в "черном зеркале" (s03e03), там через такой сервис обществом манипулировали хакеры.

Хедж-фонд из ИИ агентов

Вашему вниманию фреймворк, создающий коллектив ИИ-агентов для управления инвестициями.

ИИ команду можно собрать на свой вкус из аналитиков данных, инвестиционных стратегов, менеджеров рисков и трейдеров.
Каждый агент выполняет специализированные функции — от анализа рынка до исполнения сделок.

В команде преднастроены синтетические личности:

Асват Дамодаран, Бен Грэм, Билл Экман, Кэти Вуд, Чарли Мангер, Майкл Берри, Питер Линч, Фил Фишер, Ракеш Джунджхунвала, Стэнли Дракенмиллер, Уоррен Баффет

А так же:
Агент оценки — рассчитывает внутреннюю стоимость акций и генерирует торговые сигналы.
Агент настроений — анализирует рыночные настроения и генерирует торговые сигналы.
Агент фундаментальных данных — анализирует фундаментальные данные и генерирует торговые сигналы.
Агент технических данных — анализирует технические индикаторы и генерирует торговые сигналы.
Менеджер рисков — рассчитывает показатели риска и устанавливает лимиты позиций.
Менеджер портфеля — принимает окончательные торговые решения и генерирует ордера.

Кстати, команда из GigaChat собрала и запустила этот фреймворк на отечественной модели, так что, в принципе, если к Московской бирже по апи подключить, - будет местное решение.
В комментарии преза Сбера с инструкцией как запустить фреймворк на ГигаЧате.

#hedge #trading #portfolio #GigaChat
———
@tsingular

Велосипедный тест

Давным-давно в интернете завирусился тест - нужно было нарисовать велосипед. Оказалось, что люди очень плохо решают эту задачу - половина велосипедов не поедет или не сможет поворачивать.

А что же LLM? Смогут ли они нарисовать велосипед? Выяснил, что пока нет. AGI на этой неделе отменяется.

Лучше всех задачу решили GPT-5 Pro и Thinking - их велосипеды технически корректны, проблема только в том, что части наезжают одна на другую.

Важно, что в примере я прошу модель написать код, который генерирует SVG рисунок, а не нарисовать картинку. С рисованием картинки все модели прекрасно справляются, но это ничего нам не скажет, т.к. для рисования обычно используются внешние диффузионные модели, а не сама LLM.

Ссылки на древние статьи с результатами людей 1 2 (осторожно, там сексизм 😂).

VLA: универсальный водитель роботов

Потестировал Visual Action Language model (VLA). По ощущениям - уровень GPT‑2: первые "искры будущего интеллекта", aha‑moment уже витает в воздухе. Кажется, в робототехнике скоро будет тот же рывок, что случился в LLM с появлением ChatGPT.

Как это выглядит
Вы подаете на вход конфигурацию любого робота с его датчиками/камерами/приводами и простую текстовую команду, например:
"Возьми красный кубик Lego и положи его на тарелку".
Дальше модель сама управляет железом и решает задачу. Такой себе универсальный "водитель роботов", который учится по ходу дела и не привязан к конкретной архитектуре.

Мой стенд
Чтобы лучше разобраться в теме, собрал себе набор манипуляторов от Hugging Face 🤗 - LeRobot и попробовал дообучать их SmolVLA.

Что внутри:
- 2 робо‑руки из 3D‑печатных деталей и ходовых сервоприводов (китайцы продают на Али за 20-25к руб)
- Одна–три камеры — можно поставить их как удобно (у меня две usb-вебки)
- Текстовые команды на английском
- Модель смотрит в камеры и пытается выполнить задачу, управляя моторами манипуляторов
- Сама модель крутится на ПК рядом. Нужен GPU или свежий мак

Боли
- Нужен файнтюнинг под конкретный сетап. Без него это больше похоже на конвульсии
- Подвинул камеру - файнтюнь заново
- Нет рефлексии: модель пока не может исправляться на лету, как LLM. Если робот творит дичь, то это будет прогрессировать.
- Чувствительно к окружению. Освещение, цвет стола, фон. Лучше не менять в процессе работы.
- Реалтайм требует маленьких моделей. Конкретно у меня — ~0.5B (у серьезных людей 3–7B). Маленькая - быстрая, но справляется только с простыми командами.

Главный инсайт (прямо по Канеману) - роботу нужны две системы управления.

Система 1 - быстрая VLA для реального времени: видеть‑решать‑двигать.
Система 2 - медленная рассуждающая vLLM, которая понимает задачу целиком, раскладывает на шаги, ставит подзадачи системе 1 и рефлексирует промежуточные итоги: "Движемся ли мы к цели? Как починить? Зачем я создан? 😂". Тут отлично подойдет GPT-5 или тот же GigaChat.

Оптимизм
Hugging Face копит пользовательские датасеты от разных сетапов - растет корпус "жизненных" сценариев и видов конфигурации роботов. Не важно какого цвета у вас корпус или как расположены камеры. Если тренд продолжится, получим ту самую модель "универсального водителя": одна и та же софтина решает разные типы задач на разном железе - то, с чем годами бились команды классической робототехники.

Подход на базе гибких универсальных моделей радикально снижает требования к стоимости железа для робота. Не обязательны больше лидары, микронные точности приводов, энкодеры и стерильная рафинированная среда как у промышленных роботов.

Частый вопрос - а достаточно ли одних камер? У человека есть ещё тактильные ощущения. Мой ответ: посмотрите на экскаваторщиков, у них из обратной связи в основном глаза, но при этом опытный оператор может ковшом бутерброд приготовить при желании.

Итог
Я жду в робототехнике того же, что произошло с NLP - внезапно одна технология решила сразу все задачи, которые годами решались разными способами с огромными трудозатратами (все эти скриптовые боты и прочие попытки играть в компьютерные лингвистики).