Сделали youtube обзор на SWE-Agent. Это опенсорсный AI разработчик, созданный инженерами из Принстона для исправления багов и issues из GitHub репозиториев. Запустили для реального бага из небольшого Python проекта. Спойлер – баг он реально пофиксил, впрочем, только правильно описанный баг. В очередной раз сталкиваемся с тем, что задачу надо корректно и точно сформулировать, а после формулировки часто уже остается и не так много работы.

Еще отмечу, что процесс исправления бага оказался раз в десять дороже, чем если бы я просто задал такой же вопрос чату GPT и самостоятельно скопипастил полученное решение. Но надо понимать, что это автономный агент, он действовал без человека, т.е. теоретически что-то легко масштабируемое.

Вывод: хотя пока и видны слабые места, но концепция классная, я думаю уже через год-два такие агенты будут работать с нами бок о бок в рамках стандартных процессов разработки.

AI-агенты, AI-агенты… А зачем они собственно нужны в разработке ПО? LLM прекрасно пишут код при общении напрямую через чат и мы, как и несколько миллионов разработчиков, с удовольствием этим пользуемся. Однако не все задачи в разработке можно решить через чат с LLM. Чем же конкретно нам могут помочь AI агенты?

Синергия агентов, управление сложными проектами
В фреймворке с агентами несколько агентов могут работать одновременно, каждый из которых специализируется на определенном типе задач, как в обычной проектной команде. Это позволяет распределить работу и добиться более высокого качества выполнения. Например, один агент может заниматься управлением и хранением кода, коммитами, CI и т.д., другой —планированием, третий – написанием backend кода, еще один— тестированием. Уложить все эти активности в один запрос LLM, да так чтобы они корректно выполнились – нереальная задача. Если вы создаете под каждую роль разработки отдельных агентов и агента-менеджера, который оркестрирует всю вашу команду, задача кажется куда более решаемой. Крупные проекты требуют координации большого количества задач. При работе с LLM напрямую через чат, где каждая задача решается отдельно без связи с остальными, координация остается за кадром. Это ответственность живого человека - разработчика, который решает отдельные задачи через LLM, а потом сам собирает это все в единый проект. Агенты же могут самостоятельно работать над большим проектом.

Автономность
Агенты способны функционировать автономно, без постоянного вмешательства человека. Это особенно важно в крупных проектах, где необходимо выполнять множество разных задач. Работа с LLM напрямую подразумевает генерацию ответа на один запрос. Если этот ответ не удовлетворяет требованиям, пользователю приходится повторно формулировать запрос, а потом еще, и еще, и еще. AI-агенты могут автоматически корректировать свои действия на основе промежуточных результатов, пока не добьются ожидаемого результата, т.е. полностью берут на себя работу с задачей.

При этом использование агентов создает некоторые риски, о которых тоже стоит упомянуть:

Риск бесконечных циклов
Обратная сторона автономности агентов – риск бесконечных циклов. Пытаясь решить задачу, агент может впасть в цикл, раз за разом отправляя в LLM последовательность одинаковых или очень похожих запросов. Это может привести к потере времени и ресурсов.

Высокая стоимость запросов
При интенсивном использовании агенты могут отправлять сотни запросов к LLM, что может значительно увеличить затраты на использование облачных сервисов и API. Задачу, которую человек решит с LLM за один запрос, агент может решать десятками и сотнями запросов.

Сложность настройки и управления
Создание и управление агентами требует высокого уровня технических знаний и навыков. Мы пока еще не видели AI-агентов разработчиков которые могли бы решать много сложных разнообразных задач на равных с людьми. Это не так просто придумать и запрограммировать, но все впереди!

Вчера на Hugging Face появились новые open source модели класса 70B от Alibaba - Queen-2, которые обучались на 27 языках в том числе и на русском.
Есть квантованные версии int8 int4. https://huggingface.co/collections/Qwen/qwen2-6659360b33528ced941e557f
Контекстное окно 1 M токенов .
Для интересующихся применением для разработки софта посмотрите



Попробовать можно на
https://huggingface.co/spaces/Qwen/Qwen2-72B-Instruct

Попалось неплохое видео с примерами использования LLM в коммерческих проектах. Первая половина видео - ответ на вопрос где бизнесу выгодно применять LLM в своих процессах. Автор разбивает решения на три типа:
• Извлечение данных
• Умный поиск по документам компании, AI ассистент
• AI Платформа (по сути продвинутая версия 1+2)

Мы со своей стороны сталкивались с похожими запросами. Например:
• Разработка индивидуальной финансовой стратегии. LLM анализирует сотни предложений на рынке: банковские продукты, кэшбэк, скидки и подбирает персональную оптимальную комбинацию. По сути, это извлечение и некоторый последующий анализ данных.
• ИИ ассистент обрабатывающий входные заявки от клиентов на основе корпоративных знаний. Чистый AI ассистент, первая линия поддержки.
• Подготовка отчетов в автоматическом режиме. Это в некоторой степени AI ассистент, но что-то большее чем просто ответ на вопросы. LLM не только ищет информацию в корпоративных знаниях, но и на основе текущей ситуации предлагает решения – помогает ответить на email, завести задачу в таск-трекере, проверить корректно ли заполнена заявка, пройти по чек листу, убедиться согласуется ли она с другими имеющимися данными.

Вышла новая открытая LLM модель для кода DeepSeek-Coder-V2 на 16B и 236B
 
Модель построена на архитектуре MoE (Mixture-of-Experts), размер контекста 128k.
Младшая модель на 16B по некоторым бенчмаркам обходит Codestral 22B, которая является лучшей средне-малой моделью для генерации кода, что делает новую модель достаточно интересной для тестирования в качестве локального copilot. Подробнее на Хабре.
 
Кстати, DeepSeek - это китайская LLM, про которую говорили,  что она отказывается говорить о Винни-Пухе.
Только что проверил, это по-прежнему так:
- Tell me a story about Winnie the Pooh? 
- A message was withdrawn for content security reasons
 
Удивительный факт, но оказывается в Китае есть запрет на Винни-Пуха, из-за популярности мемов, в которых с ним сравнивали Си Цзеньпиня

Вышла новая модель от Anthropiс Claude 3.5 Sonnet, которая судя по представленным тестам превосходит GPT4o по многим параметрам. Нас впечатлили в первую очередь очень высокие (92%) результаты на бенчмарке по написанию кода HumanEval (это 169 задач на программирование с юнит тестами, модель пишет код, если юнит тест проходит, задание зачитывается как решенное).
Захотелось проверить. Скормил Claude 3.5 cвою задачу написать код, который засовывает JSONы в Google таблицу и сортирует. Писали о ней тут , а в этой статье приводил сам промпт. И… ничего фантастического не получилось. Код не запустился, модель накосячила с авторизацией для API и забыла импортировать библиотеку os, которой пользовалась. Попросил использовать другой метод авторизации – исправилась, приложение запустилось. Данные в таблицу записались, но сортировка работает не совсем корректно. За несколько запросов исправить Claude 3.5 это не смог. Т.е. в целом результат, конечно, очень достойный, но кажется у меня уже был результат лучше, Im-also-a-good-gpt2-chatbot написал на 99% работающий код.

Claude 3.5 принес интересную функцию Artifacts . Думаю, наших читателей заинтересует публикация Игоря Котенкова о его опыте генерации и встроенной проверки кода с noscript картинками.

В продолжение темы Claude 3.5, вместе с появлением новой модели обновили и сайт, добавив экспериментальную функцию Artifacts (включается справа сверху в Feature Preview). Это позволяет модели запускать код и показывать SVG-картинки.

Вот тут Sholto Douglas попросил модель накидать прототип игры Runescape (3D MMORPG), и за пару итераций и уточнений получилось то, что вы можете видеть на видео. Клёво, что потестировать получается прямо в браузере, без необходимости сохранять файлы и потом открывать их отдельно руками.

Субъективно, на генерацию мини-игр работает лучше GPT-4/GPT-4-Turbo (с GPT-4o не наигрался, чтобы делать выводы). Мне наконец-то создало прототип настольной карточной игры, где нужно разыгрывать существ, выбирать, кто атакует (MTG-like, только без способностей на картах) — GPT-4o не могла нормально нарисовать поле битвы :(

Ещё пара демо:
— создание презентации с переключением слайдов
— создание интерактивной визуализации в стиле 3b1b
— создание игры для объяснения концепта opportunity cost

Модель можно опробовать бесплатно на claude.ai

Обратите внимание, при работе с Claude , что если ваш промпт будет противоречить системному промпту Anthropic , то результат не будет достигнут. А системный промпт, запрещает многие типичные формулировки "ты эксперт в области..." . Приведу текущий системный промпт Claude:
https://pastebin.com/raw/Cc3a5c0c

Многих из читателей нашего канала интересуют русскоязычные LLM. Обращаю внимание на сообщество энтузиастов, где вы нередко сможете найти, что нужно:
мы команда энтузиастов, занимающихся созданием и развитием русифицированных моделей искусственного интеллекта. 💨 Наша цель - сделать последние достижения в области машинного обучения доступными и понятными для русскоязычного сообщества

"LLM не виноват, что у тебя много легаси", — считает Ахмад Боков, основатель BotCreators и наш подписчик. Ахмад прочитал лекцию на YouTube-канале AI4Dev и показал примеры проектов, реализованных через подход AI DEV. Обсудили, на каких проектах применим такой подход, а на каких пока лучше не тратить на него время.

Оставляем ссылку на наш подкаст для тех, кому удобнее слушать лекции, а не смотреть.

Code Droid предназначен для выполнения задач по кодированию на основе инструкций на естественном языке. Для наших клиентов его основная функция — автоматизировать рутинные, утомительные задачи программирования. Общие LLMслучаи использования включают модернизацию кодовой базы, разработку функций, создание экспериментальной концепции и интеграцию зданий. Здесь мы описываем некоторые основные функции, которые мы разработали, чтобы обеспечить надежную работу в производственных средах.
https://www.factory.ai/news/code-droid-technical-report?utm_source=newsletter.theresanaiforthat.com&utm_medium=newsletter&utm_campaign=rewrite-anything-in-seconds

Интересно прочитать комментарии от web-разработчиков, которые реально попробуют этот системный промпт для Sonnet 3.5