For an LLM of equivalent performance, the cost is decreasing by 10x every year

Фонд a16z выпустил короткую заметку в которой раскрывают простую идею: если смотреть в прошлое, то для фиксированной сложности модели стоимость инференса (одного вызова модели) падает примерно в 10 раз каждый год.

Это верно и для тех уровней сложности, которые тогда казались "невероятными". То есть можно сделать предположение, что сегодняшние "невероятные" уровни сложности моделей (e.g. 4o) так же будут дешеветь со скоростью в 10 раз в год.

Тут есть много оговорок: используют они MMLU (так себе мерило), график строят примерно по трём точкам, и вообще "всё слишком меняется".

Но я считаю пойнт вполне верным. И будущее в бизнесах и технологиях нужно планировать исходя из этого. Сегодняшние и завтрашние топовые модели будут стремительно дешеветь.

Продукты 24!!! Большая продуктовая конференция от Т

В АРМЕ 😉, следующий четверг

Днём расскажу про AI и его влияние на все продукты
Вечером играю диджей-сет

Записывайтесь https://producty24conf.tbank.ru/

Регистрация на физическое присутствие закончилась, но у меня есть немного билетов для вас )

Первым пяти кто напишет в комменты «хочу билет» выдам!
Только чур потом дойти!

upd: билеты улетели за минуту

Perplexity запускает первые эксперименты с рекламой

Самый яркий new age альтернативный поиск запускает рекламную модель рядом с подписочной. В блоге ребята объясняют это через создание robust and self-sustaining business.

К сожалению, для информационных сервисов подписка не является устойчивой бизнес-моделью. Причина проста: люди привыкли что информация бесплатна. И это действительно так: Google бесплатный, Youtube открыт, и так далее. Хочешь построить большой бизнес на информации - делай рекламу или будешь бутиковым бизнесом для избранных и без денег на технологии.

Рекламу обещают делать явной (с пометками) и не передавать personal data рекламодателям. Это стандартные принципы хорошего тона.

Тестовый формат - первая позиция в доспрашиваниях. В сам ответ вставлять на текущий момент не хотят. Я видел у Bing эксперименты когда в первый кусочек текстового ответа вставляется sponsored кусок текста - это тоже вариант. Ещё бывают sponsored "карусельки" офферов в основном ответе.

Посмотрим, что придумает Яндекс.

Экосистемы и китайский сценарий

Все крупные игроки в РФ отстраивают свою экосистему. Строят от якорного продукта: Яндекс это поиск, Сбер и Т это банк, Озон это маркетплейс и так далее. Но дальше все строят всё остальное: банки, рекламу, маркетплейсы, самокаты и так далее. Дорамы 😅

Это рынок экосистем, или китайский сценарий.

Связано это, прежде всего, с маркетингом. Разница в стоимости привлечения на независимый апп и на приложение в супераппе - в разы. Даже если это отдельное приложение продукта экосистемы, все равно работает общий бренд, большие экосистемные бюджеты на привлечение и сквозная программа лояльности.

Влияет сильно помятый рекламный рынок: игроки ушли, новые не пришли. Гугла нет (вместе с YouTube).

Интересно, что долгосрочно проигрывает в таком сценарии именно поиск. В какой-то момент экосистемы перестают позволять по себе искат снаружи, да и людям это уже не нужно, проще внутри поискать. В Китае это уже наблюдается.

Следим за развитием событий, ваш @singularityfm

Всё ещё не верится что мы делаем нашу большую продуктовую конференцию в мутаборе 😅

Готовим лучшие доклады на день и флешки с музыкой на вечер

На онлайн ещё можно записаться! https://producty24conf.tbank.ru/

Всех с пятницей! )

LLM Agent Toolkits - SDK из мира LLM

Агентам надо взаимодействовать с внешним миром, а компаниям и сервисам - встраивать свои вызовы в агентов. Давайте разберем на свежем примере.

Stripe выпустил Agent Toolkit - библиотеку для подключения своих платежных API к LLM-агентам. По-простому это набор API-методов с текстовым описанием для LLM что этот метод делает и какие параметры возвращает, в формате langchain и vercel.

Например, для метода создания инвойса у них вот такое несложное описание для LLM:

This tool will create an invoice in Stripe.

It takes one argument:
- customer (str): The ID of the customer to create the invoice for.

Это классный пример такого “LLM API” подхода для новой LLM Apps инженерии.
Что-то подобное стоит применять если вы внутри компании делаете платформу для LLM приложений и вам нужно все API "обтулить" или если вы делаете внешний API сервис который в перспективе полезен в агентских сервисах.

Ждем что через 5 лет примерно у каждого сервиса который будет куда-то интегрироваться будет и такая версия API. Название, как в случае RAG, может еще поменяться десять раз.

А вот и открытый протокол для интеграции от Antrophic подъехал. Надеюсь, будет один стандарт, а не три.

Anthropic анонсирует Model Context Protocol, стандарт с открытым исходным кодом для подключения ИИ-помощников к источникам данных. На самом деле давно пора было — мы все так или иначе писали свои решения для таких подключений. Если его сейчас поддержит кто-то кроме Claude — это будет без преувеличений великое дело.

https://techcrunch.com/2024/11/25/anthropic-proposes-a-way-to-connect-data-to-ai-chatbots/

Пару недель хожу с PLAUD Note - физическим GPT-рекордером с расшифровкой и суммаризацией

Красивый очень тонкий девайс, который цепляется сзади к телефону. Нажимаешь на кнопку - и запись пошла.

В приложение прилетает аудио, расшифровка по ролям, саммари и ещё mind map разговора. Спикеров можно обозначить и он эти голоса запоминает. При этом устройство с собственной памятью, можно и без телефона носить.

Пока что скорее игрушка. Распознает в шуме плохо, много ошибок, автоматических писем нет, привыкание не приходит.

Возникает справедливый вопрос - а зачем вообще устройство? Можно же всё в телефоне сделать!

Если честно - не нужно оно. Но если пытаться защитить устройство, ответы будут такие:
- Apple/Google оч тормозят с интеграцией на уровне ОС, отдельные приложения не интегрированы с звонками;
- Запись звонков у Apple уже есть в Apple Intelligence, но не работает в куче стран (во всей Европе, например);
- Удобно включать - просто нажал на кнопку;
- Внешний микрофон у этого девайса лучше.

Очень жду всё это новое поколение LLM-powered девайсов. Кто уже сделает гарнитуру на одно ухо с ChatGPT, ну?

Давайте подводить итоги года потихоньку ) Буду вкидывать, вы тоже кидайте хайлайты в чатик. Начну с малого и понятного.

Промпт инженерия как отдельная профессия за этот год успела сколлапсировать и практически умереть.

Два фактора:
- Большие модели научились нормально понимать и плохо сформулированные задачи
- Модели научились сами создавать хорошие production-grade промпты по более вялому описанию

Вообще, всё понятно. Одна из задач LLM это способность понимать запросы людей на естественном языке. Делать для этого дополнительный промежуточный язык это временный костыль пока эти самые LLM ещё недостаточно хорошо решают свою задачу.

RAG за 2024 успел не просто укорениться, а стать мейнстримом. Мы делаем RAG, они делают RAG, моя бабушка тоже делает RAG.

Говорил с директором одного крупного промышленного предприятия - и ему тоже оказывается нужен RAG. Зачем он не знает, но точно нужен!

Эта деталька хорошая и классно что ей научились пользоваться. Векторный поиск уже не вызывает удивлений, и даже многие знают что такое Pinecone и Qdrant.

Здесь индустрия перестраивается в умение правильно готовить данные чтобы их под RAG подкладывать.