Just in case, вдруг кто не видел

https://www.youtube.com/watch?v=_cZa_7KaQ3c

Я сначала не узнал дока...

Детали соревнования тут:
https://ai.google.dev/competition

Официально анонсировали Llama 3.1, версии 8B, 70B и 405B.

Тулы, мультиязычность, контекст 128k

Сайт: https://llama.meta.com
Пост: https://ai.meta.com/blog/meta-llama-3-1/
Статья: https://ai.meta.com/research/publications/the-llama-3-herd-of-models/

Теперь у нас есть две хорошие модели с мультиязычностью и function calling (писал про эту комбинацию тут https://news.1rj.ru/str/gonzo_ML/2821), Mistral NeMo и Llama 3.1. Ожидаю интересных развитий и решений!

Прикольный формат саммари от unsloth

"Пробка в Лиссабоне, вызванная остановившимся трамваем", 2015.

Как давно это было... 9 лет назад появился deepdream, наверное, первый большой шаг к нейросетевому GenAI. Вскоре через месяц-другой будет style transfer Леона Гатиса, затем быстрое развитие уже существующих GAN, ... и вот мы в мире трансформеров и диффузионок.

DeepMind продолжают в математику

https://deepmind.google/discover/blog/ai-solves-imo-problems-at-silver-medal-level/

AlphaProof доказывает математические утверждения на языке Lean (https://lean-lang.org/). Зафайнтюненная Gemini переводит описание с человеческого языка на Lean, а дальше RL механизм на базе AlphaZero ищет шаги доказательства.

AlphaGeometry 2 обучена на гораздо большем объеме задач, чем её предшественница и имеет на два порядка более быстрый символьный движок.

Сообща эти две системы решили 4 из 6 задач математический олимпиады этого года, получив результат на уровне серебряного медалиста.

Вот и поисковик от OpenAI пожаловал :)

https://openai.com/index/searchgpt-prototype/

Надо сказать, я ждал его дольше, чем хотелось :) (https://news.1rj.ru/str/gonzo_ML/1140)

Какой прикольный проект — gpu.cpp!

https://github.com/AnswerDotAI/gpu.cpp
https://gpucpp.answer.ai/
https://x.com/austinvhuang/status/1816141044540739642

Можно использовать GPU, не заморачиваясь написанием отдельного кода под CUDA, AMD, Mac, Intel GPUs. Спасибо WebGPU, который не только про веб (https://www.youtube.com/watch?v=qHrx41aOTUQ).

Тем временем на lmsys arena новый лидер, гугловая экспериментальная Gemini 1.5 Pro Experimental 0801 в статусе превью.

Ещё из свежих новостей — это новая Gemma 2 2B. Похоже, что на редкость неплохая

https://developers.googleblog.com/en/smaller-safer-more-transparent-advancing-responsible-ai-with-gemma/

Интересный кейс про отказ от LLM/агентского фреймворка (здесь LangChain), когда абстракции фреймворка не помогают, а скорее тормозят:
https://www.octomind.dev/blog/why-we-no-longer-use-langchain-for-building-our-ai-agents

Обсуждение на Hacker News:
https://news.ycombinator.com/item?id=40739982

У меня от LangChain изначально примерно такие же ощущения были, что для прототипов это ок быстро нафигачить, а для прода проще самим написать на более низкоуровневых абстракциях, чем в недра фреймворка по любому чиху лезть. А там для прода обычно много чего надо от правильного логгирования и мониторинга до навешивания на какую-нибудь очередь типа кафки. LangChain вроде туда как-то пошёл со своим LangSmith, но как-то невнятно для меня до сих пор.

Сейчас у меня скорее в более положительную сторону ощущение поменялось, но всё равно основная ценность LangChain для меня лично сосредоточена больше в районе каких-то базовых вещей типа интеграций с LLM и шаблонизации запросов. Остальное проще самому контролировать.

Есть LangGraph ещё, из когорты мультиагентных фреймворков. Он мне в целом понравился среди того, что я пробовал (а это ещё CrewAI и AutoGen). LangGraph вроде как достаточно низкоуровневый с базовыми примитивами для сборки графа воркфлоу.

CrewAI для меня оказался аналогично LangChain из статьи выше — слишком высокие абстракции, чтобы применить к куче задач, где я хотел бы его попробовать. Например, я сходу не нашёл, как его эффективно использовать для задач с открытой постановкой, где цель изначально не задана чётко, а определяется из общения с пользователем. Могу ошибаться, но, кажется, годится в основном для кейсов с чётко определённой целью, которую агенты потенциально могут выполнить автономно. Ну и всё равно не уверен, что это подходит для прода, потому что опять же куча всего спрятана внутри и не факт, что это можно стабильно использовать за пределами прототипов.

AutoGen кажется наиболее близок к разумному срединному пути между LangGraph и CrewAI. Есть концепция группового чата, где можно собирать довольно открытые диалоги с пользователем. Можно автономных агентов и воркфлоу с переходами между состояниями делать. Мне лично не хватает коллбэков в разных местах, но можно дописать, наверное.

Но вообще в интересное время живём. Прямо сейчас определяются контуры будущего и пока ещё непонятно куда конкретно всё вырулит с этими агентами и мультиагентами.

А вы какими фреймворками пользуетесь (или не пользуетесь) и почему?

Вдогонку к посту про агентные и мультиагентные фреймворки, немного ссылок для тех, кто хочет их изучить.

#1. Спасибо Andrew Ng, на DeepLearning.ai есть открытые и бесплатные мини-курсы по всем основным фреймворкам:

LangChain:

LangChain for LLM Application Development
https://www.deeplearning.ai/short-courses/langchain-for-llm-application-development/

LangChain: Chat with Your Data
https://www.deeplearning.ai/short-courses/langchain-chat-with-your-data/

Functions, Tools and Agents with LangChain
https://www.deeplearning.ai/short-courses/functions-tools-agents-langchain/

Build LLM Apps with LangChain.js
https://www.deeplearning.ai/short-courses/build-llm-apps-with-langchain-js/


Semantic Kernel (альтернатива LangChain от MS -- мне, кстати, понравился, https://learn.microsoft.com/en-us/semantic-kernel/overview/):

How Business Thinkers Can Start Building AI Plugins With Semantic Kernel
https://www.deeplearning.ai/short-courses/microsoft-semantic-kernel/


LangGraph:

AI Agents in LangGraph
https://www.deeplearning.ai/short-courses/ai-agents-in-langgraph/


AutoGen:

AI Agentic Design Patterns with AutoGen
https://www.deeplearning.ai/short-courses/ai-agentic-design-patterns-with-autogen/


CrewAI:

Multi AI Agent Systems with CrewAI
https://www.deeplearning.ai/short-courses/multi-ai-agent-systems-with-crewai/


Есть там и много всего другого про LLM, промпт-инжиниринг, RAG, LlamaIndex и прочее.


#2. Книги

Я уже их упоминал, у Manning в стадии написания (и доступные для чтения по ходу процесса) есть две тематические книги:

AI Agents in Action
https://www.manning.com/books/ai-agents-in-action

Multi-Agent Systems with AutoGen
https://www.manning.com/books/multi-agent-systems-with-autogen


#3. YouTube, документация, блоги и прочее

Тут ничего писать не буду, много всего, а блог Виктора Дибиа я уже советовал (https://news.1rj.ru/str/gonzo_ML/2859)


Порог на вход сейчас низок как никогда.

Извинити, пока не до статей...