Всё ещё не верится что мы делаем нашу большую продуктовую конференцию в мутаборе 😅

Готовим лучшие доклады на день и флешки с музыкой на вечер

На онлайн ещё можно записаться! https://producty24conf.tbank.ru/

Всех с пятницей! )

LLM Agent Toolkits - SDK из мира LLM

Агентам надо взаимодействовать с внешним миром, а компаниям и сервисам - встраивать свои вызовы в агентов. Давайте разберем на свежем примере.

Stripe выпустил Agent Toolkit - библиотеку для подключения своих платежных API к LLM-агентам. По-простому это набор API-методов с текстовым описанием для LLM что этот метод делает и какие параметры возвращает, в формате langchain и vercel.

Например, для метода создания инвойса у них вот такое несложное описание для LLM:

This tool will create an invoice in Stripe.

It takes one argument:
- customer (str): The ID of the customer to create the invoice for.

Это классный пример такого “LLM API” подхода для новой LLM Apps инженерии.
Что-то подобное стоит применять если вы внутри компании делаете платформу для LLM приложений и вам нужно все API "обтулить" или если вы делаете внешний API сервис который в перспективе полезен в агентских сервисах.

Ждем что через 5 лет примерно у каждого сервиса который будет куда-то интегрироваться будет и такая версия API. Название, как в случае RAG, может еще поменяться десять раз.

А вот и открытый протокол для интеграции от Antrophic подъехал. Надеюсь, будет один стандарт, а не три.

Anthropic анонсирует Model Context Protocol, стандарт с открытым исходным кодом для подключения ИИ-помощников к источникам данных. На самом деле давно пора было — мы все так или иначе писали свои решения для таких подключений. Если его сейчас поддержит кто-то кроме Claude — это будет без преувеличений великое дело.

https://techcrunch.com/2024/11/25/anthropic-proposes-a-way-to-connect-data-to-ai-chatbots/

Пару недель хожу с PLAUD Note - физическим GPT-рекордером с расшифровкой и суммаризацией

Красивый очень тонкий девайс, который цепляется сзади к телефону. Нажимаешь на кнопку - и запись пошла.

В приложение прилетает аудио, расшифровка по ролям, саммари и ещё mind map разговора. Спикеров можно обозначить и он эти голоса запоминает. При этом устройство с собственной памятью, можно и без телефона носить.

Пока что скорее игрушка. Распознает в шуме плохо, много ошибок, автоматических писем нет, привыкание не приходит.

Возникает справедливый вопрос - а зачем вообще устройство? Можно же всё в телефоне сделать!

Если честно - не нужно оно. Но если пытаться защитить устройство, ответы будут такие:
- Apple/Google оч тормозят с интеграцией на уровне ОС, отдельные приложения не интегрированы с звонками;
- Запись звонков у Apple уже есть в Apple Intelligence, но не работает в куче стран (во всей Европе, например);
- Удобно включать - просто нажал на кнопку;
- Внешний микрофон у этого девайса лучше.

Очень жду всё это новое поколение LLM-powered девайсов. Кто уже сделает гарнитуру на одно ухо с ChatGPT, ну?

Давайте подводить итоги года потихоньку ) Буду вкидывать, вы тоже кидайте хайлайты в чатик. Начну с малого и понятного.

Промпт инженерия как отдельная профессия за этот год успела сколлапсировать и практически умереть.

Два фактора:
- Большие модели научились нормально понимать и плохо сформулированные задачи
- Модели научились сами создавать хорошие production-grade промпты по более вялому описанию

Вообще, всё понятно. Одна из задач LLM это способность понимать запросы людей на естественном языке. Делать для этого дополнительный промежуточный язык это временный костыль пока эти самые LLM ещё недостаточно хорошо решают свою задачу.

RAG за 2024 успел не просто укорениться, а стать мейнстримом. Мы делаем RAG, они делают RAG, моя бабушка тоже делает RAG.

Говорил с директором одного крупного промышленного предприятия - и ему тоже оказывается нужен RAG. Зачем он не знает, но точно нужен!

Эта деталька хорошая и классно что ей научились пользоваться. Векторный поиск уже не вызывает удивлений, и даже многие знают что такое Pinecone и Qdrant.

Здесь индустрия перестраивается в умение правильно готовить данные чтобы их под RAG подкладывать.

AI-агенты это новое открытие года. За 2024 они успели пройти от насмешек до полноценного стека инструментов для построения агентов.

Сила здесь ещё и в понятном бизнес-эффекте: у тебя есть работа, ты её отдаешь агенту, понятно как оценить эффект. Это проще продавать в компаниях и измерять влияние.

LangGraph на коне, есть инструменты для памяти, качества, хостинга и так далее. Сами модели теперь учатся на агентские таргеты, новые релизы моделей целятся в лучшую работу в качестве агентов.

В 2025 все пойдут строить своих агентов и агентские платформы. Вот как про RAG сейчас из каждого утюга, скоро будет про AI-агентов.

Ого

Make AI Mediocre Again 🥴

А пока ждем анонсов от OpenAI посмотрите эту потрясающую фейк рекламу призывающую делать AI тупее и рассказывающую как )
Это реально может сработать пхаха

2 минуты великолепия https://www.youtube.com/watch?v=73rkqkTY6dA

Пока все смотрят на релизы openai, большой кусок индустрии сидит на Conversations

Кирилл Петров - CEO Just AI - каждый год открывает классным keynote. Это его слайд про GenAI Value Chain - как ценность идет от производства GPU до конечных имплементаций. Пойнт такой же: пока что до верха не добрались, работаем посерединке.

У меня был похожий в докладе, но у Кирилла он сильно более полный.

И вообще ребята молодцы, классные.

Google достиг прорыва в квантовых компьютерах и закрыл две важные задачи: смог побороть ошибки при вычислениях и сделал классический бенчмарк для квантовых компьютеров. Это большой прорыв.

По такому случаю сижу разбираюсь в квантовых вычислениях, и обнаружил интересное )

Квантовые алгоритмы напоминают рецепты кузни Асгарда из Марвел.

The Mighty Deutsch-Jozsa Algorithm:
1. Summon 2 Qubits
2. Wield the Hadamard Gate
3. Consult The Oracle
4. Unleash Interference

И выглядит этот компьютер как кусок инопланетной технологии )

Я слышал легенды про это новое поколение ботов
И вот они ко мне пришли в комменты ))