Выложили подробности на хабр https://habr.com/ru/companies/tbank/articles/865582/
Философия нашего подхода, много бенчмарков и детали по дообучению.

Зачем вы выкладываете модели в опенсорс? Никакой пользы в этом же для вас нет?

Это топ-1 вопрос ко мне в последние пару дней. Отвечаю.

1. Технологичность компании. Мы доказываем делом что мы один из лидеров индустрии. Для инвесторов это знак что мы не просто банк или экосистема, мы - технологическая компания, и можем в будущем строить новые технологические сервисы.

2. Знания и обратная связь. Мы получаем много фидбека и знаний с рынка. Это не про прямой вклад в модели, это про знания о том где ты находишься, что работает что нет, что получается строить на решениях а что нет. Сейчас мы общаемся практически со всей индустрией, этого не было без опенсорса.

3. Команда. Одно дело строить модели внутри, другое дело - строить решения влияющие на всю индустрию. Мотивация команды на небесах, и у нас хотят работать лучшие инженеры. И уже работают.

Когда смотришь на все это, понимаешь что решение однозначно верное.

И ещё. Мы правда хотим развивать индустрию, а не только работать на себя. Уже начали готовить для вас следующий Turbo ML Conf, ждите!

Наткнулся на отличное видео про AI-агентов от Andrew Ng аж 8-месячной давности.

Мой вольный пересказ вступления:

Если вас попросить написать эссе сразу и без ошибок, у вас скорее всего получится фигня. Но от LLM мы сейчас почему-то этого и ждем. Это ограничение не самих LLM, а механики выполнения работы.

Агентский подход это способ выполнения работы больше «как у людей» - медленней, с рефлексией, с планированием и внешними инструментами.

Если хотели базовое погружение в принципы агентов - посмотрите.

I'm back.
Я вернулся.

Давайте посмотрим на Devin, это отличный пример агента. Стартап нашумевший, многие его отмечают, даже отец наш Karpathy.

Devin это такой джуниор девелопер-тиммейт. Работает полностью через slack.

Ты ему пишешь в slack как живому разработчику буквально "сделай вот этот таск" или "нашел баг, исправь". Он уходит читать доки, готовить код и делать пулл реквесты. И возвращается минут через 15 со словами "я сделяль". Можно потом комменты в гитхабе оставить на реквест и он их пойдет исправлять. Всё как с живым джуном!

У него всего три инструмента:
- Веб-браузер и внешний и для условной jira
- Консоль
- Редактор кода с гитхабом

Код получается по отзывам разработчиков вполне сносный. Лучше справляется с стандартными штуками, с всяким редким работает плохо. Ну, ожидаемо от llm-based инструмента )

Разработчикам Devin не очень нравится. Нет контроля над кодом, медленно, воркфлоу через slack, и вообще их это не очень усиляет. Любой синьёр знает что лучше ускорить себя на 10% чем получить джуна в команду ))

Интересен прайсинг. Ребята просят за Devin $500/month. Что очевидно сильно дороже того же Cursor ($20) или ChatGPT. Но ребята сравниваются с junior developer, и тогда такое сравнение по цене очень даже уместно - примерно в 10 раз дешевле )

Сейчас это, возможно, уже лучше чем типичный джун. Но технологии будут расти и такие штуки как Devin будут всё более надежные. А вот люди - вряд ли.

Почему стартапы нервничают перед 20-м декабря

Со стороны кажется что OpenAI своими релизами только и делает что закрывает компании выпуская какую-то обёртку вокруг своих же решений которая до этого была у стартапа. В целом, это правда.

Но гораздо больше стартапов делают ровно наоборот. Они создают продукт, инженерию и зачаток бизнеса, который на текущих моделях ещё не работает. Но будет работать если модели станут сильно круче.

Упомянутый выше Devin это как раз пример такой компании. Пока что кринж, но вот с GPT-5...

Поэтому куча стартапов нервно ждет последнего дня релизов OpenAI (это кстати уже завтра) и надеется что там будет GPT-4.5 или GPT-5 который сделает очередной прорыв и их стартап наконец-то заработает как надо.

А OpenAI может и не зарелизить. Пока что они горячую телефонную линию для ChatGPT запускают. Это вообще что? ))

Пятничный контент )

Давно хотел пособирать end2end видосы.

Собрал драму про разочаровавшегося в человечестве квадробера 😅😽

Сюжет, видео, аудио - генерация. Chatgpt, dallie, runway, elevenlabs. Час работы всего.

На чем проще всего автоматизировать такой пайплайн, кто знает?

p.s. зацените голубя на втором кадре
просто на пофиг идет сквозь решетку 🐤

Вышла отличная статья от Antrophic про агентов и как их строить.

В частности, хорошо расставляют по местам понятия Workflow и Agent.
- Workflow это заранее предопределенная последовательность действий. Я обычно называю пайплайн, надеюсь это правильно )
- Agent это система где LLM динамически определяет как именно будет решаться задача - какими инструментами, в каком порядке и так далее.

Полезно потому что каждый встречный-поперечный поставивший цикл while вокруг одного промпта уже называет своё решение "агент" и поднимает ещё $10M )

Статья классная, с базовыми принципами построения и пайплайнов и агентов.

https://www.anthropic.com/research/building-effective-agents

Один из активно обсуждаемых топиков сейчас это «AI агенты убьют SaaS». Говорят про это много и большие ребята. Например, CEO Microsoft, a16z, Y Combinator.

Обобщенный нарратив такой: в мире победивших агентов текущим SaaS точно не место и весь B2B SaaS рынок будет выглядеть иначе. Как именно - мнения разнятся.

В теме не так просто разобраться. Вытащил для вас из потока сознания интересные мысли.

Представим, что у нас мир победивших AI агентов. Агенты умеют решать интеллектуальные задачи, ходить в разные API и базы, реализовывать бизнес-логику и так далее. И все B2B взаимодействия будут делаться через таких агентов.

Тогда:

1. У каждого B2B сервиса будет представление в виде AI Tool.

2. SaaS компании которые продают бизнес-логику над базами данных теряют смысл, проще на своем агенте промпт над базой написать.

3. Агенты позволят не завязываться на интерфейсы SaaS решений так как есть более универсальный языковой формат и вообще не надо сажать людей. Например, saas бухгалтерия с интерфейсом перестанет быть нужна так как будет агент принимающий на вход текстовый запрос решающий эти же задачи сам.

4. Интеграционные усилия по внедрению драматически снижаются - не нужно изучать интерфейс очередного saas или подключать API.

5. Как следствие, падает конкурентный ров в виде vendor lock. А не как сейчас проекты «5 лет отказа от Siebel»

6. Появятся B2B Agents & Tools SaaS маркетплейсы которые сделаны чисто для агентов. Подключить бухгалтерский софт агент сможет и сам, найдя его на маркетплейсе и вызвав как tool. Это означает значительное снижение стоимости привлечения в SaaS.

Тема активно форсится разными участниками рынка как революция, но часто уходит в булшит бинго.

Я верю что революции тут быть. В мире победивших агентов любая услуга это tool, а любая логика это промпт.

Большой рассказ от Uber: что они наворотили за год в разработке с помощью LLM

Основные вещи:
- Code Assistants
- Автогенерация тестов
- (!) Автоперевод легаси Java кода на Kotlin с помощью LLM

Много деталей реализации, очень интересно. Особенно про автоперевод когда - ребята наворотили систему из ASL правил, LLM и human in the loop. Про агентов как способ реализации тоже есть.

Выводы классические: прототип делать легко, продакшен решение сложно.

Лучше смотрите видео: https://youtu.be/jp-fBw07r7c

Я вернулся из отпусков, скоро будет контент )

А пока что посмотрите спецвыпуск Private Talks со мной совместно с великими. Рассуждаем про то лишит ли AI всех работы или скорее наоборот.

Аузан мощь, Саша и Андрей крутейшие, очень рад что поучаствовал ❤️ Получилось очень хорошо.

https://www.youtube.com/watch?v=JV4wVLEpojw

Во время отпуска наконец-то дошли руки прочитать SITUATIONAL AWARENESS - 165-страничный документ про AI, AGI и как всё катится в сторону манхэттенского проекта.

Написал его Leopold Aschenbrenner - 22-летний инженер уволенный из OpenAI. Он был частью Superalignment Team - команды, занимающейся Safety, которую разогнали в прошлом году (вместе с Суцкевером). Уволился он тогда со скандалом - парень громко говорил что всё небезопасно и вы делаете угрозу человечеству и вообще одумайтесь.

Документ хорошо и аргументированно написан, с примерами, доказательствами и ссылками. Отчасти поэтому разлетелся и вызвал мощный резонанс.

Основная идея: Trust the trendline

Если пытаться сжать весь документ до основных идей, то:
- Мы прирастаем примерно x10 каждый год по мощности AI-систем и это четкий тренд — вы сейчас здесь;
- Это обгонит людей очень быстро, его прогноз: AGI к 2027 (как он это определяет оставлю вам на самостоятельное исследование);
- Как только будет построен устойчивый агент-AI-ресерчер начнется положительная обратная связь автоулучшаемой системы и кривая ещё загнется вверх;
- Пойдут необратимые экономические изменения;
- Подключаются государства, манхеттанский проект из текущих лабораторий и так далее.

Про моих любимых агентов он там тоже много пишет. Один из следующих шагов - AI-сотрудники на remote которые лучше чем люди.

Чтиво классное, я очень советую хотя бы первые две главы. И документ во многом исторический, очень резонансный. Классно что его написал молодой 22-летний парень.

Обзорная статья от McKinsey про AI в банковском секторе. С картинкой «нового» IT-стека.

Можно почитать, булшит умеренный, полезное есть. Из того что выцепил:

- Нужно перестраивать себя и принимать риски. Большинство игроков делают слабые безрисковые проекты - строят пару чат-ботов и суммаризацию. Настоящие львы перестраивают с нуля целые домены - например, привлечение.
Так и есть, так и есть

- Фокус. Предлагают выделить пару доменов которые реально повлияют и фокусироваться на них. Так и есть, обычно это поддержка и привлечение. Ну и developers productivity, как везде.

- AI-архитектура. Предлагают переделать всю архитектуру добавив большие слои и блоки примерно как на картинке. Тут они несколько перегибают и видимо продают себя, но и правда приходится много достраивать и менять.

- AI-агенты. Предлагают всем бежать строить агентные и мультиагентные системы для автоматизации. Это они имхо рановато, агентам до банковского продакшена еще нужно дорасти. Опять же, себя продают.

https://www.mckinsey.com/industries/financial-services/our-insights/extracting-value-from-ai-in-banking-rewiring-the-enterprise

Это к манхэттенскому проекту и situational awareness

Потрясающая статья про агентов от Chip Huyen - классной вьетнамской авторши книг про ML. Ex-NVIDIA, Netftix etc, но прежде всего она круто пишет профессиональные книги.

Это прям небольшой учебник о том как создавать агентские системы. Очень хорошо написано, сильно лучше чем статья от Antrophic. Много ссылок на статьи и источники.

Вот классная цитата:

Planning, at its core, is a search problem. You search among different paths towards the goal, predict the outcome (reward) of each path, and pick the path with the most promising outcome. Often, you might determine that no path exists that can take you to the goal.

Пользуйтесь.

https://huyenchip.com/2025/01/07/agents.html

Все посмотрели демку оператора от OpenAI? Круто же? Ну сырое, да - но это вопрос времени.

Прокомментирую отдельно про его удаленность, это важно.

Работает он внутри браузера на серверах OpenAI. То есть вам нужно логиниться удаленно в ваши сервисы, что стремновато. С приложениями совсем не будет работать, если они конечно ферму не решат делать. Также, ваша внутренняя сеть недоступна - например, с корпоративными ресурсами.

Как я вижу, дальше появляются:
- Локальные решения в виде приложения на десктоп чтобы не логиниться
- Operator для iOS/Android с "скрытым" экраном чтобы не логиниться в приложения
- Разные комбинации on-premise решений. Надо соединить это с чем-то вроде rdp и внутрикорпоративной фермой с локальными же моделями

Важно всё это потому что открывает путь к автоматизации действий которые не имеют API-интерфейса. В диком вебе можно сделать почти всё внешнее. В корпоративном вебе можно сделать почти все внутренние задачи.

Что интересно про DeepSeek так это объем железа для обучения.

По официальному репорту, DeepSeek тренировался на кластере из 2k H800. Это смешной размер для таких задач. Это примерно в 50 раз меньше чем кластер для обучения любой большой модели в US.

Слухи ходят что они не раскрывают данные о реальном кластере. Китаю нельзя официально иметь кластера на H100 и других топовых картах любого крупного размера.

Я в Китае был сам и инженеры там лично говорят что кластера на 50-100к у них конечно есть. Раскрывать они их не могут.

С другой стороны, DeepSeek выпустили вместе с моделью подробный тех репорт с указанием размеров кластеров и так далее. И там все бьётся нормально - объёмы данных и времени вполне совпадают с объёмом железа, это подтвердили более-менее все лидеры индустрии.

Если это и правда возможно на кластере в 2k, значит и другие страны могут так же и стены в 100k кластера не существует.