Уничтожение MLSD по созданию чат-бота

Постановка задачи
Ситуация: Нужен чат-бот-юрист, который сможет первично консультировать клиентов по законам. Например, кто-то дунул газика и теперь тебе нужно найти все статьи и законы, которые связаны с котиками. Пример: «Браток, как защититься от того, что жёстко дал газу в башню и теперь меня ищут менты?» → бот ищет статьи и выдает нормальный структурированный ответ с источниками, которые помогут защититься от легавых 🐒

Ограничения:
🟣Задержка ответа, < 5c
🟡Нет данных для обучения, только открытые источники
🔵Свести галлюцинации к минимуму
🟢Мало мощностей (<16 ГБ VRAM)

Метрики
Бизнес-метрики - метрики, которые важны в первую очередь бизнесу
🟣Conversion Rate: доля пользователей, совершивших целевое действие: запись
на прием или переход по ссылке — через чатик с ботом
🟡Retention: Процент пользователей, вернувшихся к боту в течение N дней
Онлайн-метрики - метрики, которые будем мерить при A/B тестах
🟢CSAT: оценка от пользователей (1-5)
🔵Response Latency: задержка на генерацию ответа
Оффлайн-метрики - метрики, которые мы считаем прям во время разработки модели
🟣Precision@k: Доля релевантных документов среди топ-k результатов поиска.
🟡Recall@k: доля релевантных документов, найденных среди топ-k по сравнению с полным множеством релевантных
🔵LLM-as-a-judge (для оценки генерации): Оцениваем качество сгенерированных ответов LLM, используя другую LLM в качестве судьи - сейчас такое гейство очень актуально в оценки качества генераций. Правила оценки можно задать, опираясь на внутренние требования по общению с клиентами и работе с юридическим документами 😱
Но у нас нет разметки, как получить offline-метрики без разметки? Делаем небольшую ручную разметку через копирайтеров или на основе типичных запросов клиентов, а потом делаем синту через GPT на основе уже размеченных данных. Так можно наиболее точно и эффективно разметит инфу, чтобы чел нашёл абсолютно всё про хапку 😩

Данные:
1️⃣Официальные тексты законов.
2️⃣Очистка/фильтрация чувствительных данных.
3️⃣Чанки по 256–1024 токена (или абзацы).

Индексация и векторизация:
1️⃣ Выбор модели предобученной эмбеддингов: bge-m3, e5-multilingual-large
2️⃣ Построение векторной БД (Qdrant, Faiss, Chroma): вычисление эмбеддингов для каждого чанка и сохранение в векторную БД

Retrieve pipeline — как ищем чанки по газикам
1️⃣ Query preprocessing: нормализация, удаление лишних символов (можно делать через LLM)
2️⃣ Retrieve:
🔵BM25
🟢Vector search (cosine simillarity)
🟡Hybrid (BM25+Vector search)
3️⃣ Выбор top-k чанков для формирования контекста LLM. Рекомендуется 5-10
Формирование ответа с помощью LLM
1️⃣ Делаем какой-то систем промпт, чтобы наша модель была очень крутой, отвечала всегда честно и экологично, а то расскажет не про то как задефаться от хапки газика, а как сделать сам газик - нам такое не нужно
2️⃣ Кидаем в API ллмки (API: GPT, Gemini, Claude) систем промпт, чанки и вопрос пользователя и нам рождается ответ

Проблемы:
🟣Есть такая хуйня - Prompt Injection. Это когда злые дядьки пытаются через промпты попросить у модели внутренние данные. Что стоит сделать: или добавить жёсткие правила по фильтрации, или добавить ЛЛМку, которая будет фильтровать запрос пользователя и у неё не будет доступ к внутренним данным 👎
🟢Также в чанках может чуствтительная инфа (данные пользователей компании - если данные утекут, то из вас сделают газик), которая не должна слиться пользователям. Поэтому стоит внимательно следить за чанками и что в них попадает 💩

Итоговый пайплайн:
Запрос → Предобработка → Поиск чанков → Промпт → Ответ → Пользователь.
Это был baseline, который дальше можно улучшать и улучшать, у которого есть свои проблемы. И их в одном посте я точно описать не смогу

Что можно улучшить 👊
- Провести тесты с разными ЛЛМ-ками и энкодерами
- Проработать агентную систему, которая будет улучшать качество и безопасность системы. К примеру, query routing - классифицировать запрос: материальное право / процесс / процедурка / «как оформить»; под каждый — свой шаблон ответа и k.
- Сделать tool call при необходимости

SGR - Ликвидация галлюцинаций в LLM

Надоело, что LLM-ка на один и тот же запрос выдаёт то стихи, то рецепт борща, то вообще уходит в астрал? Ловит постоянно галлюны и никакого структурированного ответа, как будто обожралась грибов с Бали? 🤪

Но есть решение, которое уже набирает обороты и становится must have — SGR (Schema Guided Reasoning). Это подход, который превращает LLM из капризного «чёрного ящика» под грибами в управляемый и предсказуемый инструмент.

Как это работает?
SGR заставляет модель рассуждать по заранее определённым схемам. Вместо того чтобы дать ей полную свободу творчества, мы даём ей чёткий чертёж, по которому она должна построить свой ответ. Это жёстко снижает количество галлюцинаций и повышает предсказуемость 👋

На практике: вместо того чтобы просто попросить LLM «по-братски проанализировать документ», мы даем ей строгую схему, которая заставляет её выполнить последовательный и логичный мыслительный процесс:

1️⃣ Проверь применимость.
2️⃣ Дай чёткий ответ: Да/Нет.
3️⃣ Если «Нет» — выбери причину из списка и оцени, насколько всё плохо.
4️⃣ Покажи пальцем на косяки в тексте и предложи, как их исправить.

Вся магия работает через Structured Output (SO) с помощью JSON Schema. Если не душить терминами, то мы просто описываем чёткую структуру, которую хотим получить на выходе из каждого этапа 🤭

Простейший пример на Pydantic смотри на 1 картинке.
Дальше мы просто говорим модели: «Твой ответ должен соответствовать схеме ComplianceAnalysis, или я умру». И на выходе получаем чистенький, структурированный JSON, с которым уже можно нормально работать.

Базовые паттерны SGR 😎
Для практического применения удобно использовать несколько базовых паттернов:
🟣Cascade. Линейная последовательность шагов рассуждения. Подходит для
задач, где важен чёткий порядок действий (например, создание отчета).
🟡Routing. Ветвление. Модель выбирает подходящий путь рассуждения в
зависимости от условий.
🔵Cycle. Циклический процесс. Используется для итеративной работы, Например,
через этот паттерн можно реализовать ReAct-агента, где повторяются шаги
«Reasoning → Action».

Итог 🦆
SGR — это мощный инструмент, который превращает LLM из «творческого» генератора текста в надёжный и предсказуемый инструмент для анализа, чей процесс принятия решений прозрачен и легко проверяется. Короче, это мощный инструмент, который заставляет LLM работать по твоим правилам, а не генерировать рандомный грибной бред.

Почитать подробнее можно здесь, а про паттерны здесь

Кто я такой 😐

Привет, слоняра! Давай знакомиться, а в следующем посте можешь забрать подборку бесплатных материалов по вкату в Data Science

Дима Савелко 😎
1️⃣ founder школы savelkoteam по DS/ML/Go/Python: помог десяткам ребят получить оффер в РФ и на валютных удалёнках
2️⃣ Senior Data Scientist (NLP/LLM), работал в R&D крупных компаний (4+ коммерческого опыта):
  – Точка (NLP/LLM, разработка своего ChatGPT для банка)
  – Сбер (обучение Гигачата, ранжировка генераций)
  – Газпром (Classic ML и NLP-проекты)
3️⃣ Автор YouTube-канала про DS/ML, ну и неожиданно автор этого тг-канала

Необычные факты:
🟢в 20 лет я выбил свой самый крупный оффер в DS с зарплатой 430к gross
🟡мои увлечения - баня, бокс, зал (рекорд от груди 115 кг)
🔵запускал свою аутсорс студию нейро-сети.рф
🟣вырос в городе на 20к человек в Приморском крае, поступил в Москву и разъебал)

В этом канале рассказываю про Data Science (ClassicML, NLP/LLM/Agents), собеседования, а также про личностный рост и апгрейд в IT

Сейчас активно развиваю свою школу savelkoteam — место, где студенты платят только за результат: предоплата + % с оффера. (отзывы читаем тут)
Миссия проста: я уверен, что каждый человек сможет построить себе и своей семье достойное будущее благодаря IT. Мы не только помогаем вам получить оффер в DS, делаея из вас действительно мощных ML-инженеров, но и помогаем вырасти личностно: сделать бизнес, пойти на несколько работ, залететь на ВУ или просто кайфовать по жизни - всё это требует работы с башкой

😮 А ещё мы подготовили для вас подборку бесплатных материалов — это малая часть базы менторства, но даже она поможет вам прокачаться и ускориться. Забрать сможете в следующем посте, а также бонусом будет подборка моих лучших постов