Начались первые обещания закручивания гаек по GPU. Пока что в виде дополнительных тарифов на импортные GPU, призванных построить фабрики для производства чипов в США а не в Тайване.

Дальше будет веселее. США будет пытаться отобрать у Китая все потенциальные новые GPU. Для NVidia это порядка 20% бизнеса, между прочим.

И напомню про вот этот мой пост объясняющий ситуацию вокруг GPU и Тайваня.

За новостями про новые супер пупер модели мы часто упускаем более важные в прикладной работе новые строительные блоки.

Perplexity уже довольно давно запустил Sonar: API к поиску. Выглядит ровно как апишка OpenAI, но эта штука ходит в интернет.

Это сильно недооцененная вещь.

Вот пару примеров из моей головы:
- Прокачать все отели, для каждого собрать хорошее описание. Вместо отелей подставь что угодно;
- На лету подтягивать агрегат свежих новостей на конкретную тему
- Собирать преимущества и недостатки товаров из обзоров для вашего маркетплейса;
- Подтягивать на лету решения из интернетов для проблем с любым оборудованием.

По сути, нормальный умный агрегатор интернета завернутый в API. За несколько центов за запрос.

Используйте.

No-code - всё!!111

(надо перестать читать бэкдор пхах)

Провел какое-то время с https://n8n.io/ - довольно популярной платформой для автоматизации с поддержкой агентов.

Она довольно классная - готовые интеграции, удобный дебаг и вообще. Можно быстро накидать бота или понятную автоматизацию. Сделали за пятнадцать минут с ребенком бота который генерит мемы для школьного проекта )

Разочарование приехало быстро. Как только я начал строить более сложное, стало там тесно. Ну, как обычно с такими платформами.

И тут я понял что в Cursor накидываю такое же буквально так же быстро. И без всяких глупых ограничений.

И не сказать что я там «пишу код» - я скорее говорю ей «допиши то», «допиши сё».

Новые инструменты разработки такие как Cursor и Replit настолько быстро позволяют создавать код, что изучение правил какой-либо no-code платформы уже того не стоит. И дальше это будет только обостряться.

Такие дела. Ставьте Cursor.

LLM OS

Очень мощная и близкая мне концепция. Первый раз услышал от Andrej Karpathy тут

Идея такая.

Текущий мир в котором мы живем это мир иконок приложений в твоём iPhone. Есть потребность - есть приложение под него.

Эта концепция уже трещит по швам. Супераппы это порождение недостатков этой архитектуры.

Представим мир LLM OS:

1. Ядро системы это твоя личная LLM с которой ты ведешь диалог и которая делает за тебя фоновые задачи;
2. Система имеет длинную память про тебя: кто ты, что тебе интересно и так далее. Это твой по-настоящему личный партнёр;
3. Все потребности реализованы в виде LLM Tools: функциональных ручек, которые предоставляют компании. LLM умеет их искать и вызывать;
4. Интерфейсы, конечно, есть. И полностью настраиваются через LLM. Компоненты могут предоставляться компаниями в составе Tools; но это скорее конструктор из фиче-виджетов чем текущие приложения. Некоторые считают что всё вообще будет через генерацию видео, с этим я скорее не согласен.

Как будто очень легко верится в такое будущее, я хочу в нем жить. Надеюсь, кто-то уже строит новый Apple.

Собрал для вас табличку сервисов и фреймворков для создания агентских систем по уровню абстракции - от высокого и простого к низкоуровневым инструментам.

Если хотите посмотреть что такое агенты или сделать простую штуку, начинайте сверху. На уровень 4 спускаться примерно никогда не требуется.

Го в комменты где что забыл и у кого какой опыт

Cursor за два года вышел на $100M денег в год. Говорят, это быстрее любого другого B2B софта.

У Anthropic вышел невероятно интересный отчет и вместе с ним целая инициатива Anthropic Economic Index.

Они берут реальные данные использования их claude.ai LLM API веб-интерфейса и строят агрегированную статистику поверх. Задача исследования - понять проникновение AI в реальные задачи людей.

Anthropic использует здесь очень правильный подход: смотрят в разрезе задач а не профессий. Каждая профессия это на самом деле комплекс разных задач. Усилять или автоматизировать нужно задачи, а не целиком профессии.

Огромное количество интересных данных и выводов, сравнения с зарплатами и распределением реальных работ. Например, на картинке видно дифф между использованием API и процентом людей в профессии.

Хайлайты:
1. Разработка софта занимает практически треть всех запросов;
2. Сильный перекос в digital работы;
3. 57% запросов это аугментация работы (т.е. "работаю вместе с AI"), 43% это AI полностью делает работу за человека;
4. Есть явный перекос в работы средней стоимости. Малооплачиваемые работы видимо трогать не интересно, а с дорогими профессиями всё сложновато получается.

Очень важно что это не какие-то опросы, а реальная статистика из боевого API сервиса. Они даже дают скачать датасет!

Bonus: интересная статья про Anthropic Clio, как они построили внутреннюю систему анализа запросов и как это им помогает

Стартуем на лучшей LLM

Простая мысль при создании llm-based продуктов которую не все понимают.

Сначала стартуете с самой крутой моделью доступной вам, измеряете и добиваетесь качества, и уже потом оптимизируете стоимость / скорость.

Преждевременная оптимизация и раньше была грехом, но сейчас дело в другом.

Новые прорывы лежат в применении интеллекта LLM. Чем лучше эта LLM тем больше вероятность что у вас действительно получится результат.

Начинать с более слабой модели это как пытаться запустить ракету используя 95й бензин.

Так что не стесняемся использовать o1/o3-mini даже если вы список покупок делаете.

А Le Chat хорош 🥐

Кто такие эти ваши AI-агенты

Начинается бездумный хайп вокруг AI-агентов. Я уже видел как некоторые компании ставят цели своим юнитам в духе "срочно проинтегрировать 10 AI-агентов" 🥴

Давайте немного разберемся что же такое агенты.

Существует два определения агентов - профессиональное и наивное. Оба сейчас широко используются. Оба в каком-то смысле верные.

Профессиональное определение берет свои корни в душных книгах по CS.

Я его суммаризовал примерно так:

AI-агент — это автономная система, способная решать сложные задачи требующих планирования и выполнения действий, с конкретной целью, но без заранее заданных инструкций.

То есть, это конкретный класс технических систем. Примерно такой смысл поддерживают Google, AWS, Github, OpenAI и так далее.

Наивное определение берет начало в обсуждениях в твиттере. Звучит примерно так:

AI-агент — это интеллектуальная система которая автономно выполняет конкретную задачу.

Например, саммари моей почты по утрам по такому определению тоже вполне себе агент. Там нет ни планирования ни инструментов, но это не очень важно - единица работы реально выполняется, интеллектуальная головная боль передана автономной системе.

Первые - очень сложно строить и работающих at scale агентов почти нет. Вторые - отлично существуют уже какое-то время.

Я надеюсь эти термины просто разойдутся по углам, потому что профессиональное - про инженерию, а наивное - про применимость решений. Но пока что всё в кучу.

Яндекс выпустил YandexGPT 5 Pro

Ребята написали подробную статью на Habr про реализацию. И даже выложили 8b претрейн в опенсорс.

Внимательный читатель может прочитать что ребята решили все-таки бросить затею обучать модель с нуля и инициализируют свой пайплайн весами от Qwen-2.5. Ну и правильно, бессмысленная трата денег. upd: только для большой модели

Замечу тут что это не файнтюн, ребята делают полный цикл обучения модели, но стартуют претрен этап не с нулевых весов. Собственно, похожий подход применяли мы в своих моделях T-Lite / T-Pro.

По выложенным бенчмаркам какие-то прям выводы делать сложно - вроде модели хорошие. Тут главное чтобы в продуктах классно работало (Алиса поумнеет наконец?) и b2b-пользователи довольны были.

Поздравляем!

Привет, я Витя Тарнавский, директор по ИИ в Т-Банке.

Давайте-ка расскажу зачем вообще нужен директор по ИИ. Я себе сам частенько задаю такой же вопрос 😅

Я разделяю свою работу на такие столбы: технологии, внедрение, платформа, пользовательский опыт.

Технологии - это как сделать так чтобы лучшие технологии в индустрии были у нас. Для этого нужны топовые инженеры, конкретные RnD проекты, команда мотивированная на новизну, наука и так далее.

Внедрение - это как получить пользу от AI везде в компании. Для этого нужно обучать людей, строить команды под бизнесы, тащить руками самые большие ключевые проекты и искать новые большие темы.

Платформа - это как сделать из AI-решений переиспользуемую платформу, а не набор кастомных штук. Понятно, что синтез речи проще сделать один раз - но само это так не произойдет.

Пользовательский опыт - это как менять пользовательский опыт продуктов экосистемы за счет решений на базе AI. Наша сфера новая, и обычно задача как улучшить за счет AI пользовательский опыт - тоже на нас.

Вот, хожу эти четыре задачи по кругу делаю. Если упрощать :)

Про подписку на ChatGPT

Сейчас уже каждого уважающего себя человека из digital есть подписка на OpenAI. Некоторые платят и по $200 в месяц.

Подписка «на AI» претендует стать «дефолтной» подпиской современного человека - как на музыку, видео и так далее.

Теоретически, это рынок на миллиард (!) платящих подписчиков - примерно столько в сумме у всех музыкальных сервисов.

OpenAI имеет 2 миллиона платящих подписчиков сейчас (src). Это уже 1% от Spotify.

Но это если у обычных людей реально найдутся каждодневные задачи для такого компаньона. Это не факт - возможно, людям внешний интеллект не так уж и нужен.

Еще одна альтернатива - рекламная модель «как в поиске». Я надеюсь что так не будет, иначе это будет компаньон подталкивающий тебя в услуги более платящего рекламодателя.

Интересно что раньше такого рынка в принципе не было, а теперь есть. Через такие новые рынки растет мировая экономика.

Проблема поискового оркестратора в Perplexity

Когда человек приходит в поиск с вопросом про погоду, он ожидает быстрый ответ. Не нужно разворачивать всю мощь лучших в мире LLM, парсить на лету 200 источников, делать три слоя реранкинга и ещё черт знает что. Это займет кучу времени.

Искусство понять сложность запроса, правильно выбрать из систем разной сложности и профиля, и собрать правильный каскад из систем - это задача оркестрации запроса. Она же - задача роутинга, она же - задача метапоиска. Одна из самых интересных задач в IT-инженерии.

CEO Perplexity Aravind Srinivas рассказывает в подкасте что самая сложная задача которую они сейчас решают это именно проблема оркестрации и создания правильного набора систем за оркестратором. С его слов, кто решит эту проблему в новом LLM-мире, сможет построить следующий Google.

Я помню свой разговор с одним из основателей ABBYY. Он рассказывал что их ключевой ноу-хау это не сами OCR-модели, а как раз правильный каскад из моделей. Лёгкая модель определяющая задачу, дальше в зависимости от результата выбор из путей, и так до 50 разных моделей в каскаде.

В текущих AI-системах вроде ChatGPT эта проблема тоже плохо решена. Пользователю самому приходится решать "достаточно ли моя задача сложная для o3 или можно в 4o сходить". Это, конечно, неудобно.

Кстати, рекомендую и конкретный подкаст, и всю серию подкастов How to Build Future от Y Combinator

Яндекс потихоньку отжал уже 67% поисковой доля в России.

Рынок классического поиска довольно удивительный. Качество продукта почти не помогает перетягивать аудиторию. Это война за поиск по-умолчанию на устройстве или в браузере. Людям, к сожалению, не так важно какой у них поиск, если он базово «нормальный».

Гугл потихоньку умирает, так как в привлечение не вкладывается. Напомню, там нет рекламы! Как видим, это не так уж и важно для пользователей.

66% это почти монополия. Это не очень хорошо: стимулов расти продуктам будет ещё меньше. Если посмотреть в прошлое, и Google и Yandex очень много сделали чтобы себя улучшить в своей конкуренции. Раньше у Google была большая команда в Москве, я был у них в офисе.

Часть трафика поиска оттекла в маркетплейсы. Чайники уже в поиске не ищут. Почему-то принято считать что это "смерть поиска", хотя на самом деле это только один из срезов. Когда-нибудь человечество придумает лучшие способы искать информацию для всех категорий, но пока что baseline в виде поиска в-основном побеждает.

Ответ может лежать в новых GPT-like поисках. Я мечтаю что появится аналог Perplexity но для поиска решения твоей задачи, т.е. поиска бизнеса/исполнителя. Сейчас эти задачи решаются ну очень плохо - что поиском, что картами. Тогда есть шансы поколебать классический поиск в важных для него нишах.

Но пока что весь этот GPT/Perplexity/Нейро на рынки поиска не влияет никак - что в мире, что в России.