Это канал про разработку продуктов на базе LLM/GPT. Разборы технологий, продуктовые кейсы и примеры успешных проектов.

🌟Вышел курс: "LLM под капотом: выбираем эффективные технические решения для AI-ассистентов"

Раз в несколько недель - разбор продукта на базе ChatGPT/LLM: клиент, проблема, решение и техническое устройство под капотом.

Кейсы продуктов с LLM под капотом:
- Кейс про захват рынка с LLM
- Детективная история в отделе продаж (от расследования до международной AI платформы)
- Кейс с ChatGPT про 10.000 € в месяц (бизнес-переводчик)
- Кейс про крупные тендеры и генерацию лидов
- Кейс про поиск ошибок в строительных заказах
- Кейс про неудобный Excel и 5 дней работы
- Кейс про товары, которые невозможно найти
- Персональный ассистент в компании
- Автоматическое исправление ошибок в каталогах продуктов
- Ассистент маркетолога в компании
- Переводчик со знанием специализированной терминологии
- Нишевый lead generator для B2B продаж
- Платформа для автоматизации бизнес-процессов в компании
- Про свой ChatGPT для муниципалитетов
- Одна история разработки своего Reasoning ⚡
- Структурированное извлечение данных из документов

У канала есть чат, в который собираются все комментарии и дальшейшие обсуждения. Там классное communuty! 🤗

Перекличка в комментариях тут. Добавляйтесь!

Ссылки:
- Канал LLM под капотом: https://news.1rj.ru/str/llm_under_hood
- Чатик канала: https://news.1rj.ru/str/llm_driven_products
- Newsletter (english): https://abdullin.substack.com

Размещение рекламы: этого в канале не предусмотрено.

Кейс продукта с GPT/LLM под капотом: Персональный ассистент в компании #case

Примеры запросов пользователей

Запрос клиента 1 - Мы хотим чат бот для поддержки пользователей. Чтобы он мог отвечать на их вопросы с учетом статей с сайта и knowledge base, поиска по StackOverflow и актуальных тикетов в Github/Customer Support. Поискали, но нашли только варианты за 1000 евро в месяц, что очень жабно.

Сколько клиент готов платить - в зависимости от размера клиентской базы оно экономит время customer support/customer success management начиная с 10 часов в неделю до 100 часов в неделю и больше.

Соответственно 100-1000 евро в месяц за подобный продукт - это дешево. Существующие продукты на рынке начинаются где-то с 200 долларов в месяц за 4000 запросов в месяц.


Запрос клиента 2 - у нас очень большая и обширная внутренняя база знаний в wiki. Обычный поиск по ней относительно бесполезен, никто им не пользуется. Хотим чат бота, который бы работал как Bing по этим внутренним документам - искал везде, находил, и синтезировал ответ с ссылками. Это поможет с self-serve support, onboarding, поможет эффективнее распространять и передавать знания.

Готовы заплатить за работу команды, которая запилит нам подобный продукт под наши нужды. Ставка 135 евро в час, объем работ ~ 2-3 человека на пару месяцев.

Что есть у клиентов уже?

У клиентов есть набор разрозненных источников информаций c достаточно бесполезным поиском. То есть надо знать, что где лежит, и как это искать.

Пользователи либо не умеют пользоваться, либо не хотят, либо вообще не знают про информацию.

Проблема решается тем, что есть выделенные люди или специалисты. Либо платим зарплату людям, которые умеют “гуглить”, либо отвлекаем знающих людей от работы. Либо люди вообще оставляют идею найти информацию и идут более простым путем.

Отдельная головная боль с новичками - им надо все показать и рассказать. “А вот тут у нас лежат доки проектов, но только не маркетинговые брошюры. Брошюрки у нас маркетинговый отдел складывает сюда. А список вопросов и ответов вообще в другой базе, ибо исторически так сложилось”

Продукт

Ассистент, который может отвечать на вопросы и причинять помощь в индивидуальном порядке. Он работает как Bing на данных и сервисах компании, используя актуальную информацию из баз знаний и сервисов.

Техническое решение

(1) индексируем все источники информации в векторной БД с возможностью обновления в режиме реального времени. Это для полнотекстового поиска
(2) используем LLM для построения дополнительных индексов - embeddings, summarisation, Q&A. Индексы перестраиваем по мере изменения базовой информации
(3) при запросах пользователей используем LLM для построения расширенного запроса к БД по всем доступным индексам, параллельно прогоняем все запросы, а результаты сводим воедино в ответ. Указываем ссылки на исходные документы для fact-checking.
(4) Для ускорения ответа - можно использовать streaming, параллелизацию и специализированные модели.
(5) Обязательно добавляем возможность оценки ответа. Если модель дала хороший ответ на вопрос, то можно его добавить сразу в БД. Если модель дала плохой ответ, то сохраняем в статистику, чтобы команда могла поправить этот тип ответов.

Первые прототипы могут работать на ChatGPT/Claude для ускорения разработки. По мере накопления данных, можно части pipeline переключать на локальные модели, fine-tuned на конкретных данных.


Источник: https://news.1rj.ru/str/llm_under_hood/4
Обсуждение: https://news.1rj.ru/str/llm_driven_products

Продолжение: как прошла первая демка клиенту, и как мы добились хороших результатов.

В продолжение разбора кейса про продукт "персональный ассистент в компании" [1].

В соседнем чатике [2] было обсуждение про работу с умными ассистентами и извлечение данных. В контексте того, что если просто побить текст на куски, посчитать embeddings и сохранить в БД, то в теории оно заработает сразу. И есть куча демок.

Но вот на практике на выходе будет полная ерунда. Система не будет находить нужный текст. А без нужных текстов для ответа - галлюцинации обеспечены.

> а что именно подразумевается под тюнить индексы? имеется ввиду как то по другому готовить исходные тексты? просто у меня тоже на моих текстах полная фигня получилась хотелось бы подискутировать на тему как с этим дальше работать

Что тут можно делать?

(1) Делаем end-to-end бенчмарки. Хотя бы вручную разметить запросов 20: вопрос и проверка того, что ответ содержит нужную информацию (можно для автоматизации проверки использовать поиск по ключевым фактам или еще один запрос к GPT). Бенчмарки помогут осознанней настраивать систему
(2) собираем все вопросы пользователей в БД. В идеале еще давать им возможность оценивать качество. Это тоже пригодится
(3) Делаем полно-текстовый индекс всей базы знаний вроде Lucene/Elastic Search.
(4) Делаем автоматическую разметку базы знаний при помощи LLamaIndex - все подряд способы берем [3] и проверяем качество работы каждого в playground [4]
(5) Делаем дополнительный пре-процессинг текстов. Проходимся по текстам и просим LLM сочинить - (а) краткую выжимку, (б) ключевые слова и (в) варианты вопросов, на которые может ответить текст. Для всего этого считаем embeddings и сохраняем в VectorDB
(6) Когда приходит запрос от пользователя, даем контекст базы знаний, перечисляем доступные индексы и просим LLM сформулировать запросы к каждому индексу. Дать список ключевых слов, дать формулировки вопросов, дать полнотекстовый запрос итп.
(7) Ищем тексты по всем индексам, даем LLM-ке для синтеза ответа. Прогоняем через наши бенчмарки.

Как улучшать все это?
(1) Fine-tune модели на базе знаний
(2) в бенчмарках периодически выключать один из индексов и смотреть, как меняется качество.
(3) Если вопрос-ответ были высоко оценены пользователем, то после проверки глазами добавлять их в базу знаний.

[1] https://news.1rj.ru/str/llm_under_hood/4
[2] https://news.1rj.ru/str/natural_language_processing
[3] https://gpt-index.readthedocs.io/en/latest/guides/primer/index_guide.html
[4] https://gpt-index.readthedocs.io/en/latest/how_to/analysis/playground.html

Внезапно выяснилось, что Open AI ChatGPT-4 в затылок дышит модель Claude от Anthropic. Это показал очередной Leaderboard от LMSYS (они же - создатели Vicuna).

Чтобы добить ChatGPT-4 окончательно, Anthropic сделали версию Claude, которая может принять на вход контекст в 100k tokens. Доступ, правда, только через API [1]

Ей можно скармливать целые книги или небольшие базы знаний целиком! И не надо возиться с индексами и embeddings. Имхо, дальше гонка "а у моей модели контекст больше" только продолжится.

[1] https://www.anthropic.com/index/100k-context-windows

Раньше я писал про то, что ChatGPT начинают дышать другие модели. https://news.1rj.ru/str/llm_under_hood/10

Конкуренция - это хорошо. OpenAI начали шевелиться и выдавать доступ к плагинам всем ChatGPT Plus пользователям.

Проверил с утра - действительно есть. Вещь очень важная, ибо это тренд интерфейсов на следующие лет пять.

Вышел новый newsletter про самые важные новости с прошлой недели:

Если кратко:
- OpenAI выкатывает плагины и браузер всем подписчикам ChatGPT Plus
- TOP3 GPT моделей в новом списке от LMSYS.org: GPT-4, Anthropic Claude, GPT-3
- Чтобы добить, Antrhopic выкатила версию Claude с контекстом в 100000 tokens. Это в 3 раза больше, чем самая толстая модель GPT-4-32k

Подробности, а так же рассуждения про то, как за этим всем поспеть (особенно, с маленькой продуктовой командой): https://abdullin.substack.com/p/learning-fast-failing-forward

Как получить доступ к ChatGPT-4 по API побыстрее? (включая 32k)

Все обычно пытаются использовать OpenAI API. Но компания перегружена, и не очень спешит выдавать доступы. Между тем, те же самые модели есть и в Microsoft Azure, про который все забывают. В Azure можно получить доступ к API сильно быстрее - им надо квоты выполнять и клиентов привлекать.

Процесс:

(1) Заводим подписку Windows Azure https://azure.microsoft.com/ (карточка + телефон)
(2) Запрашиваем доступ к Azure OpenAI: https://aka.ms/oai/access
(3) Запрашиваем доступ к GPT-4 моделям: https://aka.ms/oai/get-gpt4
(4) Деплоим их у себя. Цены такие же, как в OpenAI API, даже библиотеки почти совместимы.

Бюрократии есть немного, но у меня все прососалось за неделю-другую. Подавался как физическое лицо, не от компании.