Пару недель хожу с PLAUD Note - физическим GPT-рекордером с расшифровкой и суммаризацией

Красивый очень тонкий девайс, который цепляется сзади к телефону. Нажимаешь на кнопку - и запись пошла.

В приложение прилетает аудио, расшифровка по ролям, саммари и ещё mind map разговора. Спикеров можно обозначить и он эти голоса запоминает. При этом устройство с собственной памятью, можно и без телефона носить.

Пока что скорее игрушка. Распознает в шуме плохо, много ошибок, автоматических писем нет, привыкание не приходит.

Возникает справедливый вопрос - а зачем вообще устройство? Можно же всё в телефоне сделать!

Если честно - не нужно оно. Но если пытаться защитить устройство, ответы будут такие:
- Apple/Google оч тормозят с интеграцией на уровне ОС, отдельные приложения не интегрированы с звонками;
- Запись звонков у Apple уже есть в Apple Intelligence, но не работает в куче стран (во всей Европе, например);
- Удобно включать - просто нажал на кнопку;
- Внешний микрофон у этого девайса лучше.

Очень жду всё это новое поколение LLM-powered девайсов. Кто уже сделает гарнитуру на одно ухо с ChatGPT, ну?

Давайте подводить итоги года потихоньку ) Буду вкидывать, вы тоже кидайте хайлайты в чатик. Начну с малого и понятного.

Промпт инженерия как отдельная профессия за этот год успела сколлапсировать и практически умереть.

Два фактора:
- Большие модели научились нормально понимать и плохо сформулированные задачи
- Модели научились сами создавать хорошие production-grade промпты по более вялому описанию

Вообще, всё понятно. Одна из задач LLM это способность понимать запросы людей на естественном языке. Делать для этого дополнительный промежуточный язык это временный костыль пока эти самые LLM ещё недостаточно хорошо решают свою задачу.

RAG за 2024 успел не просто укорениться, а стать мейнстримом. Мы делаем RAG, они делают RAG, моя бабушка тоже делает RAG.

Говорил с директором одного крупного промышленного предприятия - и ему тоже оказывается нужен RAG. Зачем он не знает, но точно нужен!

Эта деталька хорошая и классно что ей научились пользоваться. Векторный поиск уже не вызывает удивлений, и даже многие знают что такое Pinecone и Qdrant.

Здесь индустрия перестраивается в умение правильно готовить данные чтобы их под RAG подкладывать.

AI-агенты это новое открытие года. За 2024 они успели пройти от насмешек до полноценного стека инструментов для построения агентов.

Сила здесь ещё и в понятном бизнес-эффекте: у тебя есть работа, ты её отдаешь агенту, понятно как оценить эффект. Это проще продавать в компаниях и измерять влияние.

LangGraph на коне, есть инструменты для памяти, качества, хостинга и так далее. Сами модели теперь учатся на агентские таргеты, новые релизы моделей целятся в лучшую работу в качестве агентов.

В 2025 все пойдут строить своих агентов и агентские платформы. Вот как про RAG сейчас из каждого утюга, скоро будет про AI-агентов.

Ого

Make AI Mediocre Again 🥴

А пока ждем анонсов от OpenAI посмотрите эту потрясающую фейк рекламу призывающую делать AI тупее и рассказывающую как )
Это реально может сработать пхаха

2 минуты великолепия https://www.youtube.com/watch?v=73rkqkTY6dA

Пока все смотрят на релизы openai, большой кусок индустрии сидит на Conversations

Кирилл Петров - CEO Just AI - каждый год открывает классным keynote. Это его слайд про GenAI Value Chain - как ценность идет от производства GPU до конечных имплементаций. Пойнт такой же: пока что до верха не добрались, работаем посерединке.

У меня был похожий в докладе, но у Кирилла он сильно более полный.

И вообще ребята молодцы, классные.

Google достиг прорыва в квантовых компьютерах и закрыл две важные задачи: смог побороть ошибки при вычислениях и сделал классический бенчмарк для квантовых компьютеров. Это большой прорыв.

По такому случаю сижу разбираюсь в квантовых вычислениях, и обнаружил интересное )

Квантовые алгоритмы напоминают рецепты кузни Асгарда из Марвел.

The Mighty Deutsch-Jozsa Algorithm:
1. Summon 2 Qubits
2. Wield the Hadamard Gate
3. Consult The Oracle
4. Unleash Interference

И выглядит этот компьютер как кусок инопланетной технологии )

Я слышал легенды про это новое поколение ботов
И вот они ко мне пришли в комменты ))

Выложили подробности на хабр https://habr.com/ru/companies/tbank/articles/865582/
Философия нашего подхода, много бенчмарков и детали по дообучению.

Зачем вы выкладываете модели в опенсорс? Никакой пользы в этом же для вас нет?

Это топ-1 вопрос ко мне в последние пару дней. Отвечаю.

1. Технологичность компании. Мы доказываем делом что мы один из лидеров индустрии. Для инвесторов это знак что мы не просто банк или экосистема, мы - технологическая компания, и можем в будущем строить новые технологические сервисы.

2. Знания и обратная связь. Мы получаем много фидбека и знаний с рынка. Это не про прямой вклад в модели, это про знания о том где ты находишься, что работает что нет, что получается строить на решениях а что нет. Сейчас мы общаемся практически со всей индустрией, этого не было без опенсорса.

3. Команда. Одно дело строить модели внутри, другое дело - строить решения влияющие на всю индустрию. Мотивация команды на небесах, и у нас хотят работать лучшие инженеры. И уже работают.

Когда смотришь на все это, понимаешь что решение однозначно верное.

И ещё. Мы правда хотим развивать индустрию, а не только работать на себя. Уже начали готовить для вас следующий Turbo ML Conf, ждите!

Наткнулся на отличное видео про AI-агентов от Andrew Ng аж 8-месячной давности.

Мой вольный пересказ вступления:

Если вас попросить написать эссе сразу и без ошибок, у вас скорее всего получится фигня. Но от LLM мы сейчас почему-то этого и ждем. Это ограничение не самих LLM, а механики выполнения работы.

Агентский подход это способ выполнения работы больше «как у людей» - медленней, с рефлексией, с планированием и внешними инструментами.

Если хотели базовое погружение в принципы агентов - посмотрите.

I'm back.
Я вернулся.

Давайте посмотрим на Devin, это отличный пример агента. Стартап нашумевший, многие его отмечают, даже отец наш Karpathy.

Devin это такой джуниор девелопер-тиммейт. Работает полностью через slack.

Ты ему пишешь в slack как живому разработчику буквально "сделай вот этот таск" или "нашел баг, исправь". Он уходит читать доки, готовить код и делать пулл реквесты. И возвращается минут через 15 со словами "я сделяль". Можно потом комменты в гитхабе оставить на реквест и он их пойдет исправлять. Всё как с живым джуном!

У него всего три инструмента:
- Веб-браузер и внешний и для условной jira
- Консоль
- Редактор кода с гитхабом

Код получается по отзывам разработчиков вполне сносный. Лучше справляется с стандартными штуками, с всяким редким работает плохо. Ну, ожидаемо от llm-based инструмента )

Разработчикам Devin не очень нравится. Нет контроля над кодом, медленно, воркфлоу через slack, и вообще их это не очень усиляет. Любой синьёр знает что лучше ускорить себя на 10% чем получить джуна в команду ))

Интересен прайсинг. Ребята просят за Devin $500/month. Что очевидно сильно дороже того же Cursor ($20) или ChatGPT. Но ребята сравниваются с junior developer, и тогда такое сравнение по цене очень даже уместно - примерно в 10 раз дешевле )

Сейчас это, возможно, уже лучше чем типичный джун. Но технологии будут расти и такие штуки как Devin будут всё более надежные. А вот люди - вряд ли.