Когда мы говорим про RAG, обычно думают так: проиндексировал документ → потом извлёк тот же самый документ.

Но индексация ≠ извлечение.

Данные, которые ты индексируешь, не обязаны быть теми же данными, которые ты подаёшь в LLM во время генерации.

Вот 4 умных способа индексировать данные:

1) Chunk Indexing (индексация чанков)

🔹Самый распространённый подход.

🔹Документ разбивается на чанки, затем каждый чанк преобразуется в эмбеддинг и сохраняется в векторную БД.

🔹При запросе извлекаются ближайшие чанки по косинусному сходству (или другому метрике).

Просто и эффективно, но слишком большие или «шумные» чанки могут снизить точность.

2) Sub-chunk Indexing (индексация под-чанков)

🔹Берём исходные чанки и дополнительно разбиваем их на более мелкие под-чанки.

🔹Индексируем именно эти мелкие фрагменты.

🔹При извлечении всё ещё возвращаем более крупный чанк для контекста.

Этот подход полезен, если документ содержит несколько разных концепций в одном разделе - повышается шанс точного совпадения с запросом.

3) Query Indexing (индексация по запросам)

🔹Вместо того чтобы индексировать сырой текст, генерируются гипотетические вопросы, на которые, по мнению LLM, данный чанк может ответить.

🔹Эти вопросы эмбеддятся и сохраняются.

🔹При реальном запросе пользователя поиск происходит по этим «синтетическим» вопросам.

🔹Похожая идея используется в HyDE, но там сопоставляется гипотетический ответ с реальными чанками.

Отличный вариант для систем вопрос–ответ (QA), поскольку он сокращает семантический разрыв между пользовательским запросом и индексированными данными.

4) Summary Indexing (индексация по суммаризации)

🔹Используется LLM, чтобы сгенерировать краткое семантическое представление (summary) для каждого чанка.

🔹В индекс попадает именно summary, а не исходный текст.

🔹При извлечении возвращается оригинальный чанк для контекста.

Особенно эффективно для плотных или структурированных данных (например, CSV или таблиц), где эмбеддинги сырого текста не дают осмысленных результатов.

👉 @DataSciencegx

3 ключевые свойства следа матрицы в Deep Learning

1. L2-регуляризация: Квадрат нормы Фробениуса, ||W||² = tr(WᵀW), используется для штрафования больших весов и предотвращения переобучения.

2. Вычисление градиентов: Циклическое свойство следа, tr(AB) = tr(BA), упрощает вывод матричных производных при обратном распространении ошибки (backpropagation).

3. Инвариантность: След инвариантен к замене базиса, tr(P⁻¹AP) = tr(A); это свойство используется при поиске нового, более удобного базиса в PCA.

👉 @DataSciencegx

На GitHub есть репозиторий free-programming-books, где собрано более 4000 бесплатных книг, 2000 курсов и других полезных ресурсов по программированию

Для удобства поиска можно использовать этот инструмент

Этот проект - яркий пример силы опенсорс сообщества, который из клона списка со StackOverflow стал одним из самых популярных на GitHub ✌️

🔸 Русскоязычная версия ресурсов

👉 @DataSciencegx

Эндрю Ын анонсировал новый бесплатный курс: Agentic AI

Здесь учат собирать LLM-агентов с нуля, без фреймворков, на чистом Python. Всё чётко, с разбором того, как устроены агенты под капотом.

Что внутри:
- Reflection — агент сам анализирует свои ответы и улучшает их;
- Tool use — учим LLM вызывать функции: искать в вебе, слать письма, писать код;
- Planning — разбиваем задачи на подзадачи и строим план выполнения;
- Multi-agent collaboration — создаём несколько специализированных агентов, которые работают вместе, как команда.

Плюс отдельный блок про evals и анализ ошибок

В итоге соберёте исследовательского агента, который сам ищет, анализирует и пишет отчёты.

Проходится в своём темпе, подходит всем, кто знаком с Python и немного с LLM. Забираем здесь

👉 @DataSciencegx

Я никогда не использую метод describe из Pandas

Skimpy — гораздо более удобная (и опенсорс) альтернатива, которая предоставляет расширенное описание данных: форму датасета, типы данных по колонкам, статистику, графики распределений и т.д.

👉 @DataSciencegx

Один из лучших ресурсов, если хочешь выучить SQL на практике и с нуля 👍

Это интерактивные уроки прямо в браузере, без регистрации и бесплатно. Всё подается шаг за шагом: от базовых запросов до более сложных тем, таких как JOIN и агрегации

Весь процесс строится на упражнениях, так что теорию сразу применяешь на практике

Всем, кто хочет научиться SQL с нуля, рекомендую заценить: https://sqlbolt.com/

👉 @DataSciencegx

Бесплатный курс по изучению концепций глубокого обучения

Концептуальное и архитектурное путешествие по моделям компьютерного зрения в глубоком обучении, прослеживающее эволюцию от LeNet и AlexNet до ResNet, EfficientNet и Vision Transformers.

Курс объясняет принципы проектирования, лежащие в основе skip-соединений, bottleneck-блоков, сохранения тождества, компромиссов глубины/ширины и attention.

Каждая глава сочетает наглядные иллюстрации, исторический контекст и сравнения «бок о бок», чтобы показать, почему архитектуры выглядят именно так и как они обрабатывают информацию.

Забираем на YouTube

👉 @DataSciencegx

Находка: репозиторий, где куча туториалов по созданию AI-агентов, готовых к продакшену и с реальными кейсами использования

Весь код в открытом доступе и есть объяснение, как их развернуть. GitHub: agents-towards-production

👉 @DataSciencegx

Наконец-то в Python 3.14 можно отключить GIL

Это большое событие, потому что раньше, даже если ты писал многопоточный код, Python всё равно выполнял только один поток за раз, без какого-либо прироста производительности.

А теперь Python действительно может выполнять твой многопоточный код параллельно.

И uv полностью это поддерживает!

👉 @DataSciencegx

AI Engineering Hub

Комплексный ресурс для изучения и разработки решений на базе AI. Здесь вы найдёте:

- 93+ продакшн-готовых проектов для любого уровня
- подробные туториалы по LLM, RAG, агентам и многому другому
- реальные примеры применения AI-агентов
- готовые примеры для внедрения, адаптации и масштабирования в ваших проектах

Забираем на GitHub

👉 @DataSciencegx

RAG vs. CAG, понятное объяснение

RAG хорош, но у него есть серьёзная проблема

Каждый запрос бьёт по векторной БД. Даже ради статической информации, которая не менялась месяцами.

Это дорого, медленно и лишнее.

Cache-Augmented Generation (CAG) решает эту проблему, позволяя модели «помнить» статическую информацию прямо в своей key-value (KV) памяти.

Ещё лучше? Можно комбинировать RAG и CAG и получить лучшее из обоих подходов.

Как это работает:

RAG + CAG делит вашу базу знаний на два слоя:

↳ Статические данные (политики, документация) один раз кэшируются в KV-памяти модели

↳ Динамические данные (свежие апдейты, «живые» документы) подтягиваются через ретривал

Результат? Более быстрый инференс, меньше затрат, меньше избыточности.

Хитрость в том, чтобы избирательно кэшировать.

Кэшируйте только статичные, ценные знания, которые редко меняются. Если закэшируете всё, упрётесь в лимиты контекста. Разделение «cold» (кэшируемые) и «hot» (получаемые через ретривал) данных делает систему надёжной.

Можно начинать уже сегодня. OpenAI и Anthropic уже поддерживают кэширование промптов в своих API.

Вот ссылка на гайд OpenAI по кэшированию промптов: https://x.com/akshay_pachaar/status/1985690138756989286

Вы уже пробовали CAG в проде?

👉 @DataSciencegx

Введение в системы машинного обучения

Создано профессором Гарварда Виджаем Джанапа Редди. Это открытый учебник, который учит тебя строить реальные, работающие AI-системы: от edge-устройств до облака.

Он выводит обучение за пределы простого “тренируем модель” и показывает, как заставить модель действительно работать - cтабильно, эффективно и с высокой производительностью.

PDF-ка и онлайн версия доступны здесь, репозиторий тут

👉 @DataSciencegx

XBOW привлекла $117 млн для разработки AI-агентов-хакеров

А теперь кто-то выложил аналог с открытым исходным кодом, бесплатно.

Strix — это автономные AI-агенты, которые действуют как реальные хакеры: они динамически выполняют ваш код, находят уязвимости и подтверждают их реальными proof-of-concept-эксплойтами.

Почему это важно:

Главная проблема классического security-тестирования - оно не успевает за скоростью разработки.

Strix решает это, интегрируясь прямо в ваш рабочий процесс:

↳ Запускайте его в CI/CD, чтобы ловить уязвимости до продакшена
↳ Получайте реальные PoC, а не ложные срабатывания от статического анализа
↳ Тестируйте всё: инъекции, контроль доступа, ошибки бизнес-логики

И самое крутое:

Вам не нужно быть экспертом по безопасности. Strix включает полный набор инструментов хакера: HTTP-прокси, автоматизацию браузера и Python runtime для разработки эксплойтов.

Это как если бы у вас была команда безопасности, работающая с той же скоростью, что и ваш CI/CD pipeline.

К тому же инструмент запускается локально в Docker-контейнерах, ваш код никогда не покидает ваше окружение.

Начать очень просто: pipx install strix-agent

Укажите путь к вашему коду: приложению, репозиторию или директории.

Ссылка на GitHub-репозиторий: strix

👉 @DataSciencegx

Multi-Head Attention в LLM, визуальное объяснение

👉 @DataSciencegx

Нашел шикарную штуку для всех, кто хочет прокачаться в математике для диплернинга — вот этот раздел

Ноль воды, только то что нужно для работы в ML. Мат.анализ, лин.алгебра, теория вероятностей — всё в удобном формате и сразу с кодом

Отдельный приятный момент: можно выбрать диалект, на котором будут показывать примеры (PyTorch, Keras или MXNET).

Кстати, другие главы там не менее достойные 🤓

👉 @DataSciencegx

Microsoft. Google. AWS.

Все пытаются решить одну и ту же задачу для AI-агентов:

Как построить графы знаний, которые будут достаточно быстрыми для LLM-приложений в реальном времени?

FalkorDB — это опенсорс графовая база данных, которая решает эту проблему, переосмысливая сам принцип работы графов. Она использует разреженные матрицы и линейную алгебру, а не классический обход графа!

Разберёмся, почему она такая быстрая:

Традиционные графовые базы хранят связи как связанные узлы и обходят их по одному хопу.

Но здесь есть проблема:

Когда вы делаете запрос на связи, база данных проходит по узлам и рёбрам, буквально следуя по карте. Для огромных графов знаний, на которых работают AI-агенты, это создаёт серьёзное узкое место.

А что если представить весь граф как математическую структуру?

Здесь появляются разреженные матрицы.

Разреженная матрица хранит только существующие связи. Никакого лишнего места, никаких ненужных данных

И вот где происходит прорыв:

Когда ваш граф представлен как разреженная матрица, вы можете выполнять запросы с помощью линейной алгебры, а не обхода. Запросы превращаются в математические операции, а не покроковый переход по узлам.

Математика быстрее обхода. Гораздо быстрее.

Плюс разреженные матрицы позволяют невероятно эффективно использовать память. Вы храните только то, что существует, поэтому можете держать огромные графы знаний в памяти, не прожигая ресурсы.

Тогда почему бы просто не использовать Vector Search?

Vector search быстрый, но он фиксирует только наивное сходство. Он умеет находить паттерны, но не видит структуру.

Графы фиксируют тонкие отношения между сущностями. Это гарантирует, что контекст, который вы поднимаете для агента, точный и релевантный, а не просто похожий.

И вот что даёт вам FalkorDB:

↳ Сверхбыстрая мультитенантная графовая база данных
↳ Эффективное хранение через разреженные матрицы
↳ Совместимость с OpenCypher (тот же язык запросов, что и в Neo4j)
↳ Специально создана для LLM-приложений и памяти агентов
↳ Работает поверх Redis для простого деплоя

Старт занимает всего одну Docker-команду. Я протестировал это через их Python-клиент, разница в производительности заметна сразу.

Если вы строите AI-агентов, которым нужен доступ к связанным данным в реальном времени, это точно стоит попробовать.

И главное, это 100% опенсорс. GitHub: FalkorDB

👉 @DataSciencegx

Это настоящая золотая жила AI-ресурсов от MongoDB! (бесплатно и ориентировано на реальные задачи AI-инжиниринга)

Поднимать AI-прототипы локально – это весело.

Можно быстро экспериментировать, пушить код и пробовать разные модели почти без подготовки окружения.

Но когда начинаешь делать AI для реальных пользователей, всё становится сложнее.

Нужно учитывать хранение данных, эффективный ретривал, производительность, безопасность и масштабируемое управление контекстом.

AI-хаб ресурсов от MongoDB очень круто закрывает этот гэп в обучении.

Он даёт целую экосистему гайдов, демо и учебных треков, спроектированных для разработчиков, которые хотят строить продакшн-AI-приложения на надёжной дата-инфраструктуре.

Два особенно полезных ресурса, с которых стоит начать:

1. Основы векторного поиска в MongoDB: разберитесь, как реально работает семантический поиск,, и соберите рабочий поисковый pipeline.

2. Построение агентов с памятью на MongoDB, Fireworks AI и LangChain: обучите агента вспоминать прошлые взаимодействия и подтягивать контекст напрямую из ваших операционных данных.

Что делает эту библиотеку ещё интереснее – контент не ограничивается только AI. Он проводит через все вспомогательные компоненты, которые нужны для запуска AI в проде, например:

↳ Архитектуры хранения для AI-приложений
↳ Индексация и ретривал с высокой пропускной способностью
↳ Кэширование для ускорения инференса
↳ Лучшие практики безопасности для AI-датапайплайнов
↳ End-to-end примеры с реальными датасетами

Все туториалы ориентированы на построение рабочих систем, а не просто объяснение концепций.

Ссылка: https://www.mongodb.com/resources/use-cases/artificial-intelligence

👉 @DataSciencegx

Bagging vs Boosting в машинном обучении, наглядное объяснение

👉 @DataSciencegx