Ванильный RAG не работает. Как исправить?

RAG — один из самых популярных подходов для интеграции LLM в реальные продукты. Его выбирают, когда нужно давать точные, верифицируемые ответы на основе собственной базы знаний. Но на практике такие решения почти никогда не работают «из коробки»: вместо полезных ответов — галлюцинации, поверхностные обобщения или просто тишина.

Причин много: эмбеддер не улавливает смысл запроса, поиск не находит нужные документы, генератор не может извлечь то, чего нет в извлеченном контексте. А когда всё ломается — непонятно, с чего начать: тюнить эмбеддер? дообучать генератор? улучшать данные?

В эту среду мы проведём открытую лекцию, на которой разберём, как в этой системе навести порядок: что действительно влияет на качество ответов, как выстроить пайплайн правильно и превратить RAG из хаотичного набора компонентов в надёжный рабочий инструмент.

На лекции расскажем:
- почему ванильная схема «ретривер + генератор» почти никогда не даёт нужного качества
- с чего начинать улучшения: эмбеддер, поиск, реранкер, генератор, данные или что-то ещё
- какие задачи приходится решать, чтобы RAG действительно работал
- как из разрозненных компонент собрать надежный RAG-продукт

Также на лекции мы представим курс LLM Pro — продвинутую программу, на которой вы научитесь строить системы, которые работают в реальном мире!
А участникам лекции подарим скидки на обучение 🎁

📅 Лекция пройдёт 30 апреля в 18:00 МСК

Регистрируйтесь по ссылке и до встречи на лекции в среду!

Скоро стартует курс «Ускорение нейросетей»

Если вы сталкивались в работе с оптимизацией инференса и ускорением нейросетей, пробовали фреймворки вроде ONNX, TensorRT, OpenVINO, знаете про квантование, прунинг и дистилляцию, но при этом:

— большинство решений приходится собирать на ощупь
— гайды не работают на ваших моделях
— не уверены, как сочетать методы без потери качества
— возникают сложности при деплое на CPU, мобильные устройства или одноплатники

Или если только начинаете погружаться в тему ускорения нейросетей и хотите в ней разобраться — тогда приходите на ближайший поток «Ускорения нейросетей», который стартует 11 июня! ⚡

На курсе вы научитесь:
- ускорять нейросети, понимая теорию каждого алгоритма
- комбинировать разные подходы: квантизацию, дистилляцию, прунинг
- оптимизировать инференс, сохраняя точность
- запускать сети на различных устройствах: как на GPU/CPU, так и на мобильных телефонах и одноплатниках
- использовать особенности железа и фреймворков OpenVino, TensorRT, RKNN

👨‍🏫 Лекции ведут опытные инженеры, а хэдлайнер курса — Александр Гончаренко, CTO ENOT.аi, стартапа по ускорению нейросетей.
📅 Обучение начинается 11 июня и продлится 4 месяца.

Изучайте подробности на сайте и записывайтесь в лист ожидания, чтобы первыми узнать подробности о курсе и получить самые большие скидки на обучение!

Как превратить текст в структурированные данные?

Распознавание именованных сущностей (Named Entity Recognition, NER) — ключ к превращению сырого текста в структурированные данные. Но как выбрать подходящий инструмент, когда вокруг десятки библиотек? Когда стоит брать готовое решение, а когда — учить свою модель? Правда ли, что LLM уже умеют всё сами?

В нашей новой статье разберём:

✔️ Постановку задачи NER
✔️ Существующие коробочные решения и их ограничения
✔️ Рецепты, когда и как стоит обучать свой NER
✔️ Применимость LLM для решения задачи

А также конкретные примеры и лайфхаки для тех, кто хочет выжать максимум из своих данных.

Читайте по ссылке и узнайте о современных подходах к решению задачи NER! 🙂

How to: детектор лиц на Android

Детекция лиц на смартфоне — популярная задача, для которой существует много решений «в пару кнопок». Но мы решили пойти по хардкору и показать, как запустить детектор лиц на Android, используя только C++ , OpenCV и NCNN.

Это видео поможет:

1. Узнать нюансы при деплое своих моделей на Android-устройстве.
2. Понять, как работают под капотом готовые решения.
3. Запустить свои кастомные модели на платформе Android.

Смотрите новый выпуск по ссылке!

А больше о том, как ускорять инференс моделей под различные устройства рассказываем на курсе «Ускорение нейросетей».

Данные важнее моделей? Подкаст «Под Капотом» c Дарьей Воронкиной

Мы приглашаем в подкаст экспертов из различных областей, чтобы понять, как работают сложные системы изнутри.
Гость этого выпуска Дарья Воронкина — тимлид в медицинском стартапе OneCell.ai и спикер курса «Computer Vision Rocket». В OneCell Дарья руководит построением и оптимизацией процесса разметки медицинских данных и аналитики вокруг них.

В этом выпуске мы обсуждаем:
- как создать масштабируемый процесс аннотации терабайтов гистологических данных для сотен задач
- почему подготовка датасета часто сложнее и интереснее обучения моделей
- как превратить хаотичную разметку в предсказуемый и воспроизводимый процесс

Смотрите выпуск по ссылке: https://youtu.be/4ufQITw-cOI

Осталось 3 часа до лекции по LLM

Сегодня Илья Димов на примере бизнес-кейсов разберёт подводные камни LLM!

На лекции вы узнаете:
- как устроена память у LLM, зачем она нужна и почему “погуляй с собакой в лесу” может звучать зловеще
- как построить рабочую RAG-систему, где LLM действительно извлекает нужное из базы знаний, а не галлюцинирует
- зачем разбивать задачу между несколькими LLM, что умеют агенты, и когда они начинают вредить
- как выбирать модель, если завтра выйдет новая и все побегут её катить — по каким метрикам, с какими ограничениями и как протестировать

В конце представим программу курса LLM и откроем запись со скидкой!

🕕 Регистрируйтесь и приходите сегодня в 19:00 МСК