Что за циферки?
Мы уже разобрались с тем как запускать модели локально (способ 1 и способ 2). Теперь надо понять как выбрать модель под свои нужды и как прочитать "паспорт модели", который выглядит примерно так:
Всё это очень подробно разобрал в конспекте:
Читать: Как выбрать AI модель
SemolinaCode | Chat | YouTube | HowToCode | Prop
Мы уже разобрались с тем как запускать модели локально (способ 1 и способ 2). Теперь надо понять как выбрать модель под свои нужды и как прочитать "паспорт модели", который выглядит примерно так:
Model
architecture gemma3
parameters 4.3B
context length 131072
embedding length 2560
quantization Q4_K_M
Capabilities
completion
vision
Parameters
temperature 1
top_k 64
top_p 0.95
stop "<end_of_turn>"
License
Gemma Terms of Use
Last modified: Feb 21, 2024
Всё это очень подробно разобрал в конспекте:
Читать: Как выбрать AI модель
SemolinaCode | Chat | YouTube | HowToCode | Prop
2🔥32❤10👍9
Всё, что вам нужно знать про HuggingFace
P.S. В этом посте я упомяну "huggingface" 10 раз. Заранее извиняюсь
Тут будет сразу серия статей!!
Обзор huggingface.co
Выбор модели под задачу на huggingface.co
Обзор карточки модели на huggingface.co
SemolinaCode | Chat | YouTube | HowToCode | Prop
Тут будет сразу серия статей!!
Обзор huggingface.co
– Что такое huggingface;
– Кто и как использует huggingface;
– Как пользоваться huggingface новичку.
Выбор модели под задачу на huggingface.co
– Какие есть фильтры на huggingface и как ими пользоваться;
– Разберём практические шаблоны для фильтрации.
Обзор карточки модели на huggingface.co
– Разберём все разделы карточки на huggingface;
– Протестируем модель прямо в браузере;
– Узнаем кто и как может подгрузить кастомный код на наше локальное устройство и как этого избежать.
SemolinaCode | Chat | YouTube | HowToCode | Prop
1👍33❤10🔥8👨💻1
Как удалить свой диалог с ChatGPT? Никак
Я тут обнаружил, что если попытаться удалить свой диалог с ChatGPT, то под капотом у вас ничего не выйдет. Диалог просто перестанет у вас отображаться, но на сервере openai скорее всего всё будет сохранено
Откуда такая догадка?
Да просто во время запрос на удаление диалога отправляется PATCH запрос с параметром "is_visible: false".
Да и в принципе PATCH запрос предназначен для обновления информации, а для удаляния есть DELETE
SemolinaCode | Chat | YouTube | HowToCode | Prop
Я тут обнаружил, что если попытаться удалить свой диалог с ChatGPT, то под капотом у вас ничего не выйдет. Диалог просто перестанет у вас отображаться, но на сервере openai скорее всего всё будет сохранено
Откуда такая догадка?
Да просто во время запрос на удаление диалога отправляется PATCH запрос с параметром "is_visible: false".
Да и в принципе PATCH запрос предназначен для обновления информации, а для удаляния есть DELETE
Запрос PATCH используется для частичного обновления ресурса в API, отправляя только те данные, которые нужно изменить, а не весь объект целиком
SemolinaCode | Chat | YouTube | HowToCode | Prop
1❤32😁24👍12🤡6🔥1
Пилотный тест
Супер простая статья про то как подготовить данные для тестирования модели
Читать: Как создать пилотный тест для модели
P.S. Данный урок потребуется для выполнения первого домашнего задания в обучении по RAG, которое начнется завтра в видеоформате на этом канале бесплатно (но со спонсором)
SemolinaCode | Chat | YouTube | HowToCode | Prop
Супер простая статья про то как подготовить данные для тестирования модели
Читать: Как создать пилотный тест для модели
P.S. Данный урок потребуется для выполнения первого домашнего задания в обучении по RAG, которое начнется завтра в видеоформате на этом канале бесплатно (но со спонсором)
SemolinaCode | Chat | YouTube | HowToCode | Prop
2❤33❤🔥5🔥5👍3
Курс: RAG для новичков
Урок 1. Как LLM работает с документами и приватными данными (теория)
В уроке я простым языком объясняю, как ИИ “думает” под капотом и как сделать так, чтобы он начал отвечать по твоей информации, а не абстрактно. Пока что без математики и без кода
В уроке разбираем базу😮 :
В курсе используем реальный продуктовый кейс – сервис Antarctic Wallet (оплата USDT по QR-коду в магазинах и сервисах), чтобы показать, как RAG применяется на практике (например, для автоматизации службы поддержки)
Домашнее задание:
– Составить пилотный тест для проверки качества RAG системы по данным со страницы F.A.Q.
🎞 Видео
📖 Методичка в Notion
❤️ Оплатить USDT по QR-коду
В следующем уроке — переходим к коду и собираем RAG-pipeline руками.
SemolinaCode | Chat | YouTube | HowToCode
Урок 1. Как LLM работает с документами и приватными данными (теория)
В уроке я простым языком объясняю, как ИИ “думает” под капотом и как сделать так, чтобы он начал отвечать по твоей информации, а не абстрактно. Пока что без математики и без кода
В уроке разбираем базу
– почему ChatGPT / Gemini / Claude не видят ваши документы и свежие данные;
– что такое RAG (Retrieval Augmented Generation) и какую проблему он решает;
– из каких этапов состоит RAG-pipeline: indexing → retrieval → generation;
– что такое embeddings, vector store и поиск по смыслу, а не по словам;
– почему RAG — это не дообучение модели, а работа с контекстом.
В курсе используем реальный продуктовый кейс – сервис Antarctic Wallet (оплата USDT по QR-коду в магазинах и сервисах), чтобы показать, как RAG применяется на практике (например, для автоматизации службы поддержки)
Домашнее задание:
– Составить пилотный тест для проверки качества RAG системы по данным со страницы F.A.Q.
В следующем уроке — переходим к коду и собираем RAG-pipeline руками.
SemolinaCode | Chat | YouTube | HowToCode
Please open Telegram to view this post
VIEW IN TELEGRAM
11❤39🔥12👍8⚡2❤🔥1👏1
Есть тут кто-то, кто:
- учился
- знает тех, кто учился
- просто слышал что-то про
Стартап Академию Сколково
Стоит ли сходить, поучиться?
Или есть какие-то альтернативы с хорошей экосистемой/комьюнити в направлении стартапинга/предпринимательства?
- учился
- знает тех, кто учился
- просто слышал что-то про
Стартап Академию Сколково
Стоит ли сходить, поучиться?
Или есть какие-то альтернативы с хорошей экосистемой/комьюнити в направлении стартапинга/предпринимательства?
❤13😁9🔥2
Курс: RAG для новичков
Урок 2. Первый рабочий RAG pipeline
Вот и пришло время написать код, а именно RAG pipeline. ИИ начнёт отвечать по твоей информации, а не абстрактно. До сих пор без математики, но уже с кодом!!
В уроке напишем полностью рабочий и применимый на практике код:
В курсе используем реальный продуктовый кейс – сервис Antarctic Wallet (оплата USDT по QR-коду в магазинах и сервисах), чтобы показать, как RAG применяется на практике (например, для автоматизации службы поддержки)
🎞 Видео
📖 Методичка в Notion
👩💻 Код с урока
❤️ Оплатить USDT по QR-коду
В следующем уроке – улучшим каждый узел пайплайна (retrieval, prompt, формат контекста и т.д.).
SemolinaCode | Chat | YouTube | HowToCode
Урок 2. Первый рабочий RAG pipeline
Вот и пришло время написать код, а именно RAG pipeline. ИИ начнёт отвечать по твоей информации, а не абстрактно. До сих пор без математики, но уже с кодом!!
В уроке напишем полностью рабочий и применимый на практике код:
– загрузка данных с сайта
– деление текста на чанки
– бесплатный embeddings (Ollama + HuggingFace)
– векторное хранилище (ChromaDB)
– поиск релевантных чанков (retriever c k ближайших соседей)
– prompt для LLM генерации
– сборка RAG цепочки через LangChain
– прогон по пилотному тесту: где всё хорошо, а где появляются галлюцинации (пример с KYC)
В курсе используем реальный продуктовый кейс – сервис Antarctic Wallet (оплата USDT по QR-коду в магазинах и сервисах), чтобы показать, как RAG применяется на практике (например, для автоматизации службы поддержки)
В следующем уроке – улучшим каждый узел пайплайна (retrieval, prompt, формат контекста и т.д.).
SemolinaCode | Chat | YouTube | HowToCode
Please open Telegram to view this post
VIEW IN TELEGRAM
11🔥21❤9❤🔥6👍2
Semolina Code (Python / TypeScript)
Курс: RAG для новичков Урок 2. Первый рабочий RAG pipeline Вот и пришло время написать код, а именно RAG pipeline. ИИ начнёт отвечать по твоей информации, а не абстрактно. До сих пор без математики, но уже с кодом!! В уроке напишем полностью рабочий и…
Случайно вставил ссылку на первый урок. Сейчас уже поправил, но вот на всякий случай:
https://youtu.be/FxCez4KeR0I
https://youtu.be/FxCez4KeR0I
👍21❤13
Курс: RAG для новичков
Урок 3. Как улучшить RAG pipeline: загрузка данных, разбиение, эмбеддинги и Chroma (LangChain)
Если в пошлом уроке мы просто написали простенький RAG pipeline, то в этом уроке мы попробуем довести его до "идеале", а именно этап индексации
Что конкретно сделаем:
Кейс тот же: Antarctic Wallet – оплата USDT по QR-коду в магазинах и сервисах.
Стараюсь сделать так, чтобы всё было максимально применимо к реальности – для базы знаний / саппорта / FAQ
🎞 Видео
📖 Методичка в Notion
👩💻 Код с урока
❤️ Оплатить USDT по QR-коду
В следующем уроке – улучшим этап поиска и генерации
SemolinaCode | Chat | YouTube | HowToCode
Урок 3. Как улучшить RAG pipeline: загрузка данных, разбиение, эмбеддинги и Chroma (LangChain)
Если в пошлом уроке мы просто написали простенький RAG pipeline, то в этом уроке мы попробуем довести его до "идеале", а именно этап индексации
Что конкретно сделаем:
– загрузим не одну страницу, а весь сайт через sitemap.xml
– попробуем второй способ: рекурсивный обход ссылок внутри домена
– научимся резать текст правильно: по структуре HTML или по токенам (а не “на глаз”)
– разберёмся с эмбеддингами: как выбрать модель под русский и зачем иногда нужны префиксы
– ускорим ChromaDB: чтобы индекс не пересобирался каждый запуск (запуск из минут → в миллисекунды)
Кейс тот же: Antarctic Wallet – оплата USDT по QR-коду в магазинах и сервисах.
Стараюсь сделать так, чтобы всё было максимально применимо к реальности – для базы знаний / саппорта / FAQ
В следующем уроке – улучшим этап поиска и генерации
SemolinaCode | Chat | YouTube | HowToCode
Please open Telegram to view this post
VIEW IN TELEGRAM
3❤20❤🔥8🔥5👍2
Курс: RAG для новичков
Урок 4. Как улучшить RAG pipeline: загрузка данных, разбиение, эмбеддинги и Chroma (LangChain)
Тут мы наконец-то закончим создание нашего "идеального" RAG пайплайна: retriever, format_docs, prompt и LLM параметры.
Что конкретно сделаем:
Кейс тот же: Antarctic Wallet – оплата USDT по QR-коду в магазинах и сервисах.
Стараюсь сделать так, чтобы всё было максимально применимо к реальности – для базы знаний / саппорта / FAQ
🎞 Видео
📖 Методичка в Notion
👩💻 Код с урока
❤️ Оплатить USDT по QR-коду
В следующем уроке – LangSmith (визуальный дебаг) + подготовка к AI агенту
Накиньте реакций, если тема интересна ♥️
SemolinaCode | Chat | YouTube | HowToCode
Урок 4. Как улучшить RAG pipeline: загрузка данных, разбиение, эмбеддинги и Chroma (LangChain)
Тут мы наконец-то закончим создание нашего "идеального" RAG пайплайна: retriever, format_docs, prompt и LLM параметры.
Что конкретно сделаем:
– Retriever:
similarity vs MMR, пороги релевантности, фильтры по метаданным
– Post-processing:
собираем контекст правильно, добавляем source/page, лимитируем длину
– Prompt для RAG:
только по контексту, без выдумок, честное “нет данных”
– LLM настройки:
temperature, max tokens, top-p — простым языком, без магии
– Финальная LangChain цепочка:
защита от пустого контекста + готовность к LangSmith
Кейс тот же: Antarctic Wallet – оплата USDT по QR-коду в магазинах и сервисах.
Стараюсь сделать так, чтобы всё было максимально применимо к реальности – для базы знаний / саппорта / FAQ
В следующем уроке – LangSmith (визуальный дебаг) + подготовка к AI агенту
Накиньте реакций, если тема интересна ♥️
SemolinaCode | Chat | YouTube | HowToCode
Please open Telegram to view this post
VIEW IN TELEGRAM
2❤43🔥6👍5
Курс: RAG для новичков
Урок 5. LangSmith: трассировка, отладка и тестирование приложений на базе LLM
Время отдохнуть от кода и улучшить то, что у нас уже есть. Для этого используем инструмент визуальной отладки, который также покажет нам что происходило на каждом этапе нашего приложения – LangSmith
Что конкретно сделаем:
Кейс тот же: Antarctic Wallet – оплата USDT по QR-коду в магазинах и сервисах.
Стараюсь сделать так, чтобы всё было максимально применимо к реальности – для базы знаний / саппорта / FAQ
🎞 Видео
📖 Методичка в Notion
👩💻 Код с урока
❤️ Оплатить USDT по QR-коду
В следующем уроке – LangSmith (визуальный дебаг) + подготовка к AI агенту
SemolinaCode | Chat | YouTube | HowToCode
Урок 5. LangSmith: трассировка, отладка и тестирование приложений на базе LLM
Время отдохнуть от кода и улучшить то, что у нас уже есть. Для этого используем инструмент визуальной отладки, который также покажет нам что происходило на каждом этапе нашего приложения – LangSmith
Что конкретно сделаем:
– подключаем LangSmith к нашему RAG
– смотрим каждый этап цепочки: retriever → контекст → prompt → LLM → output
– видим tokens / latency / ошибки
– собираем online evaluator (LLM-as-a-judge): ChatGPT сам оценивает качество ответа
– делаем Playground и сравниваем 2 промпта (мини A/B)
Кейс тот же: Antarctic Wallet – оплата USDT по QR-коду в магазинах и сервисах.
Стараюсь сделать так, чтобы всё было максимально применимо к реальности – для базы знаний / саппорта / FAQ
В следующем уроке – LangSmith (визуальный дебаг) + подготовка к AI агенту
SemolinaCode | Chat | YouTube | HowToCode
Please open Telegram to view this post
VIEW IN TELEGRAM
2❤20👍4🔥4