А еще вышло мое большое интервью для Kept

Рассказываю про наш подход к AI и объясню зачем мы опенсорсим модели. Получилось классно, доволен ) заходите почитать или послушать, есть и видео

Наши ребята записали интересный подкаст про LLM-приложения, агенты и инструменты вокруг LLM.

Если хотите понять как создавать решения на базе LLM и как на наших глазах строится новая инженерия которой раньше не было, идите смотреть.

Я считаю что это будущая инженерия почти любых инженерных решений. Новая база. Хотите оставаться актуальными - идите смотреть.

Смотрите, Lex Fridman и Vitalik Buterin говорят по-русски )
Точнее, Лёша Фридман и Виталик Бутерин

Обложка для видео 💀

https://www.youtube.com/watch?v=4XkFY9IsACk

Большие модели нужны редко. На продакшне не нужны почти никогда.

Мы изначально взяли подход "SLM + допретрен + файнтюн": небольшие модели, делаем допретрен на русский и наш домен, и потом делаем файнтюны на задачи. Это быстрее, дешевле и эффективней.

Это слайд с рабочей встречи - на очередном новом кейсе выигрыш нашего файнтюна маленькой модели против GPT-4. С первого раза такой результат.

В данном случае файнтюн gemma9b, допретрен на русском языке + бизнес домене, с большим запасом перебивает gpt4. gpt4o на конкретно этой задаче работает ещё хуже, так бывает.

For an LLM of equivalent performance, the cost is decreasing by 10x every year

Фонд a16z выпустил короткую заметку в которой раскрывают простую идею: если смотреть в прошлое, то для фиксированной сложности модели стоимость инференса (одного вызова модели) падает примерно в 10 раз каждый год.

Это верно и для тех уровней сложности, которые тогда казались "невероятными". То есть можно сделать предположение, что сегодняшние "невероятные" уровни сложности моделей (e.g. 4o) так же будут дешеветь со скоростью в 10 раз в год.

Тут есть много оговорок: используют они MMLU (так себе мерило), график строят примерно по трём точкам, и вообще "всё слишком меняется".

Но я считаю пойнт вполне верным. И будущее в бизнесах и технологиях нужно планировать исходя из этого. Сегодняшние и завтрашние топовые модели будут стремительно дешеветь.

Продукты 24!!! Большая продуктовая конференция от Т

В АРМЕ 😉, следующий четверг

Днём расскажу про AI и его влияние на все продукты
Вечером играю диджей-сет

Записывайтесь https://producty24conf.tbank.ru/

Регистрация на физическое присутствие закончилась, но у меня есть немного билетов для вас )

Первым пяти кто напишет в комменты «хочу билет» выдам!
Только чур потом дойти!

upd: билеты улетели за минуту

Perplexity запускает первые эксперименты с рекламой

Самый яркий new age альтернативный поиск запускает рекламную модель рядом с подписочной. В блоге ребята объясняют это через создание robust and self-sustaining business.

К сожалению, для информационных сервисов подписка не является устойчивой бизнес-моделью. Причина проста: люди привыкли что информация бесплатна. И это действительно так: Google бесплатный, Youtube открыт, и так далее. Хочешь построить большой бизнес на информации - делай рекламу или будешь бутиковым бизнесом для избранных и без денег на технологии.

Рекламу обещают делать явной (с пометками) и не передавать personal data рекламодателям. Это стандартные принципы хорошего тона.

Тестовый формат - первая позиция в доспрашиваниях. В сам ответ вставлять на текущий момент не хотят. Я видел у Bing эксперименты когда в первый кусочек текстового ответа вставляется sponsored кусок текста - это тоже вариант. Ещё бывают sponsored "карусельки" офферов в основном ответе.

Посмотрим, что придумает Яндекс.

Экосистемы и китайский сценарий

Все крупные игроки в РФ отстраивают свою экосистему. Строят от якорного продукта: Яндекс это поиск, Сбер и Т это банк, Озон это маркетплейс и так далее. Но дальше все строят всё остальное: банки, рекламу, маркетплейсы, самокаты и так далее. Дорамы 😅

Это рынок экосистем, или китайский сценарий.

Связано это, прежде всего, с маркетингом. Разница в стоимости привлечения на независимый апп и на приложение в супераппе - в разы. Даже если это отдельное приложение продукта экосистемы, все равно работает общий бренд, большие экосистемные бюджеты на привлечение и сквозная программа лояльности.

Влияет сильно помятый рекламный рынок: игроки ушли, новые не пришли. Гугла нет (вместе с YouTube).

Интересно, что долгосрочно проигрывает в таком сценарии именно поиск. В какой-то момент экосистемы перестают позволять по себе искат снаружи, да и людям это уже не нужно, проще внутри поискать. В Китае это уже наблюдается.

Следим за развитием событий, ваш @singularityfm

Всё ещё не верится что мы делаем нашу большую продуктовую конференцию в мутаборе 😅

Готовим лучшие доклады на день и флешки с музыкой на вечер

На онлайн ещё можно записаться! https://producty24conf.tbank.ru/

Всех с пятницей! )

LLM Agent Toolkits - SDK из мира LLM

Агентам надо взаимодействовать с внешним миром, а компаниям и сервисам - встраивать свои вызовы в агентов. Давайте разберем на свежем примере.

Stripe выпустил Agent Toolkit - библиотеку для подключения своих платежных API к LLM-агентам. По-простому это набор API-методов с текстовым описанием для LLM что этот метод делает и какие параметры возвращает, в формате langchain и vercel.

Например, для метода создания инвойса у них вот такое несложное описание для LLM:

This tool will create an invoice in Stripe.

It takes one argument:
- customer (str): The ID of the customer to create the invoice for.

Это классный пример такого “LLM API” подхода для новой LLM Apps инженерии.
Что-то подобное стоит применять если вы внутри компании делаете платформу для LLM приложений и вам нужно все API "обтулить" или если вы делаете внешний API сервис который в перспективе полезен в агентских сервисах.

Ждем что через 5 лет примерно у каждого сервиса который будет куда-то интегрироваться будет и такая версия API. Название, как в случае RAG, может еще поменяться десять раз.

А вот и открытый протокол для интеграции от Antrophic подъехал. Надеюсь, будет один стандарт, а не три.

Anthropic анонсирует Model Context Protocol, стандарт с открытым исходным кодом для подключения ИИ-помощников к источникам данных. На самом деле давно пора было — мы все так или иначе писали свои решения для таких подключений. Если его сейчас поддержит кто-то кроме Claude — это будет без преувеличений великое дело.

https://techcrunch.com/2024/11/25/anthropic-proposes-a-way-to-connect-data-to-ai-chatbots/

Пару недель хожу с PLAUD Note - физическим GPT-рекордером с расшифровкой и суммаризацией

Красивый очень тонкий девайс, который цепляется сзади к телефону. Нажимаешь на кнопку - и запись пошла.

В приложение прилетает аудио, расшифровка по ролям, саммари и ещё mind map разговора. Спикеров можно обозначить и он эти голоса запоминает. При этом устройство с собственной памятью, можно и без телефона носить.

Пока что скорее игрушка. Распознает в шуме плохо, много ошибок, автоматических писем нет, привыкание не приходит.

Возникает справедливый вопрос - а зачем вообще устройство? Можно же всё в телефоне сделать!

Если честно - не нужно оно. Но если пытаться защитить устройство, ответы будут такие:
- Apple/Google оч тормозят с интеграцией на уровне ОС, отдельные приложения не интегрированы с звонками;
- Запись звонков у Apple уже есть в Apple Intelligence, но не работает в куче стран (во всей Европе, например);
- Удобно включать - просто нажал на кнопку;
- Внешний микрофон у этого девайса лучше.

Очень жду всё это новое поколение LLM-powered девайсов. Кто уже сделает гарнитуру на одно ухо с ChatGPT, ну?