– почему ChatGPT / Gemini / Claude не видят ваши документы и свежие данные;
– что такое RAG (Retrieval Augmented Generation) и какую проблему он решает;
– из каких этапов состоит RAG-pipeline: indexing → retrieval → generation;
– что такое embeddings, vector store и поиск по смыслу, а не по словам;
– почему RAG — это не дообучение модели, а работа с контекстом.

– загрузка данных с сайта
– деление текста на чанки
– бесплатный embeddings (Ollama + HuggingFace)
– векторное хранилище (ChromaDB)
– поиск релевантных чанков (retriever c k ближайших соседей)
– prompt для LLM генерации
– сборка RAG цепочки через LangChain
– прогон по пилотному тесту: где всё хорошо, а где появляются галлюцинации (пример с KYC)

– загрузим не одну страницу, а весь сайт через sitemap.xml
– попробуем второй способ: рекурсивный обход ссылок внутри домена
– научимся резать текст правильно: по структуре HTML или по токенам (а не “на глаз”)
– разберёмся с эмбеддингами: как выбрать модель под русский и зачем иногда нужны префиксы
– ускорим ChromaDB: чтобы индекс не пересобирался каждый запуск (запуск из минут → в миллисекунды)

– Retriever:
similarity vs MMR, пороги релевантности, фильтры по метаданным
– Post-processing:
собираем контекст правильно, добавляем source/page, лимитируем длину
– Prompt для RAG:
только по контексту, без выдумок, честное “нет данных”
– LLM настройки:
temperature, max tokens, top-p — простым языком, без магии
– Финальная LangChain цепочка:
защита от пустого контекста + готовность к LangSmith

– подключаем LangSmith к нашему RAG
– смотрим каждый этап цепочки: retriever → контекст → prompt → LLM → output
– видим tokens / latency / ошибки
– собираем online evaluator (LLM-as-a-judge): ChatGPT сам оценивает качество ответа
– делаем Playground и сравниваем 2 промпта (мини A/B)