Что не так с LLM?

— Модели игнорируют инструкции
— Даже большие LLM галлюцинируют
— RAG сходу не работает
— API не так дёшевы, как кажется
— Инференс без оптимизации стоит дорого

И это не все сложности. На Zoom-лекции в четверг разберём другие проблемы и покажем, как с ними справляться на примере реальной задачи. Приходите, чтобы лучше понять LLM и их слабые места!

Также мы представим программу курса LLM, а всем участникам лекции подарим скидки на обучение! 🔥

🙋‍♂️ Обо всём этом расскажут:
— Илья Димов — Senior NLP-инженер
— Тимур Фатыхов — основатель DeepSchool, ex Lead CV Engineer, KoronaPay

📆 Четверг, 20 февраля, в 18:00 МСК

Регистрируйтесь по ссылке!
🎁 После регистрации вы получите список полезных инструментов и библиотек для работы с LLM.

И до встречи в четверг!

✨Встречаемся через 2 часа на лекции по LLM

Сегодня на примере реальной задачи будем разбираться в слабых местах LLM и как их обходить!

И в конце представим программу курса LLM 🔥
Участники лекции смогут занять место на программе на выгодных условиях!

Успевайте зарегистрироваться! И приходите сегодня в 18:00 МСК!

Научитесь правильно использовать LLM

LLM — капризны: они галлюцинируют, игнорируют факты, не следуют инструкциям. Их можно дообучать, дополнять знания через RAG, хитро промптить — но в каждом из этих методов есть нюансы.

А когда всё заработает, встанет новая задача — как выдержать нагрузку и не разориться на железе.
Если хотите разобраться, как создавать рабочие решения и доводить их до пользователей, приходите на курс Large Language Models.

Наши спикеры работали и в бигтехах, и в стартапах, и в научных лабораториях. Создавали нагруженные сервисы и популярные библиотеки, которыми вы скорее всего пользовались. Вместе с ними на программе вы узнаете:
🔹 как выбрать модель для проекта и чем они отличаются
🔹 как уменьшить галюцинации и отхождения от инструкций
🔹 как сделать RAG, который наконец начнёт работать
🔹 как дообучать и сервить LLM, чтобы не разориться
🔹 как деплоить большие модели
🔹 и как эти модели устроены, как эволюционировали

Курс вам подойдёт и если вы только знакомитесь с LLM, и если уже работаете с ними ✨

📆 Начало — 26 февраля, продолжительность — 4 месяца.
⚠️ Осталось 18 мест из 60. Успевайте присоединиться к обучению!

Читайте подробности о программе, формате и спикерах на сайте.
И записывайтесь на курс со скидкой 5%, которая действует до 25 февраля 🔥

Если возникают вопросы или трудности, то пишите нам @deepschool_support!

До встречи на курсе!

⚡Уже в марте стартует новый поток курса «Деплой DL-сервисов» . Пока готовим новые материалы по этой теме, собрали несколько статей из нашего архива. Вдруг вы их пропустили:

1️⃣ ClearML Data Management
Разбираем инструмент, который подходит для версионирования данных и не только.

2️⃣ ClearML Session
Изучаем работу на удалённом сервере и настройку рабочего места с использованием ClearML Session.

3️⃣ Полезные Linux-команды
Рассказываем о Linux-командах, которые позволят упростить работу Data Scientist'а.

4️⃣ Pre-commit git-хуки
Коротко говорим про git-хуки и смотрим пару примеров.

Что происходит с моделью после обучения

Мы уже говорили, что сегодня DL-инженеру недостаточно учить модели в Jupyter-тетрадках, чтобы соответствовать запросам индустрии. Важно уметь доводить их до пользователей. Чтобы ближе познакомить вас с этим процессом, мы подготовили открытую онлайн-лекцию, на которой покажем, как выглядит путь модели после обучения!

Что вы узнаете на лекции:

- когда стоит использовать Jupyter-ноутбуки, а когда нет
- как подготовить репозиторий моделинга
- варианты конвертации модели
- как обернуть инференс в http-приложение
- чем помогает Model Serving
- как деплоят приложения и автоматизируют этот процесс

Также мы расскажем о курсе, на котором вы сможете научиться самостоятельно создавать и деплоить DL-сервисы. Всем участникам лекции подарим скидки на обучение!🔥

🙋‍♂️Спикеры лекции:

— Дмитрий Раков — руководитель ML в НИИАС, делает percpetion-алгоритмы для беспилотных поездов

— Тимур Фатыхов — основатель DeepSchool, ex Lead CV Engineer KoronaPay

⏰Дата и время: 6 марта, чт, 18:00 мск

Регистрируйтесь по ссылке

Ищем преподавателей, опытных инженеров в CV и NLP!

🔥 Мы готовим 2 advanced программы для практикующих CV- и NLP-инженеров и ищем спикеров лекций.

В этих курсах мы будем учить студентов решать различные DL-задачи «с изюминкой», где «fit, predict» уже недостаточно.
Например:
— надо решить сегментацию, но на очень больших картинках — как лучше поделить изображение? как собрать результаты вместе? почему маски рваные и как этого избежать?
— создаём агента для бизнеса, но он отказывается использовать функции, зацикливается и не выдает результат — как снизить число ошибок? на чем учить? как автоматически собирать данные?
На эти вопросы ответят лекции курсов.

Что мы даём преподавателям:
— доступ к комьюнити школы и ко всем курсам школы: можно приходить на лекции, задавать вопросы, сдавать домашки и получать ревью
— оплату за подготовку материалов
— оплату за лекции и ревью заданий
— научим создавать понятные интересные лекции
— редактор поможет с текстами
— а дизайнер нарисует красивую презентацию

Что мы ждём от вас:
— опыт в индустрии/ресёрче от 4 лет
— опыт работы с темой лекции от 1 года

Если вы готовы обучать других людей и помочь им повысить свою квалификацию, заполните, пожалуйста, анкету:
Анкета на спикера CV-курса
Анкета на спикера NLP-курса

DeepSchool Digest⚡

Вместе с командой авторов продолжаем готовить для вас новые материалы. Например, уже скоро обсудим интеграцию нейросетей в продакшн и фреймворки сервинга. А пока собрали подборку материалов, которые вышли с начала этого года, чтобы вы не упустили ничего интересного👇

✔️Подкаст «Под Капотом». CV в медицине
Обсудили с Александром Лекомцевым, Team Lead CV Engineer из oxytech.io, чем отличается медицинский CV от «обычного», сложности разметки данных, как найти общий язык с врачами и многое другое про CV в медицине.

✔️В чём же считать: fp8, fp32 или fp16
В каких типах данных крутить нейронку, чтобы сэкономить память и не потерять точность? В этой статье разобрались, как они работают, где их лучше применять, как учить, инференсить и с какими подводными камнями здесь можно столкнуться.

✔️Детекторы текста на основе трансформеров. Часть 2
Продолжаем знакомить вас с детекторами текста на основе трансформеров. В статье также рассматриваем MixNet, который лидирует в бенчмарках.

✔️Как ускоряют нейросети?
В этом видео Саша Гончаренко, СТО стартапа enot.ai и хэдлайнер нашего курса «Ускорение нейросетей», рассказывает про основные подходы в ускорении нейросетей, их плюсы и минусы, а также затрагивает особенности ускорения LLM.

✔️DB: text detection
Здесь мы поговорили о сегментации текста и разобрали архитектуру DB (Differentiable Binarization).

✔️RAG, или лучший друг достоверных генеративных ответов
Как собирать поиск, что делать с генератором и за счет чего улучшать качество вашего бейзлайн-решения? В этой статье мы разобрали подход Retrieval Augmented Generation (RAG), в рамках которого ответ на пользовательский запрос генерируется с опорой на внешние документы.

✔️MoH: Multi-Head Attention as Mixture-of-Head Attention
Mixture-of-Head Attention — апдейт архитектуры Multi-Head Attention, направленный на ускорение без потери точности. О её значимых улучшениях читайте в материале по ссылке⬆️

Внедряем модель в production c использованием model-serving фреймворков

Обучить нейросеть — часто лишь вершина айсберга. Ценность от модели появляется тогда, когда она начинает обслуживать реальных пользователей (при условии, что пользователи довольны и платят 😉). В этом посте мы поговорим о процессе внедрения нейронных сетей, а также о фреймворках сервинга — инструментах, которые значительно его упрощают.

Мы узнаем:
- какие аспекты нужно учитывать при проектировании приложения с DL-моделью
- какие подходы можно использовать для эффективной обработки запросов к приложению
- чем нам могут быть полезны model-serving фреймворки и из каких компонентов они состоят
- как настроить и интегрировать Triton Inference Server

Читайте новую статью по ссылке: https://blog.deepschool.ru/architecture/vnedryaem-model-c-ispolzovaniem-model-serving-frejmvorkov/

🪔 DeepSchool

Почему DL-инженерам важно перенимать практики разработчиков в свои ML-пайплайны

В видео сооснователь школы DeepSchool Тимур Фатыхов за 5 минут проходит по чек-листу актуальных инструментов и практик, которые помогают довести модель до пользователей, и рассказывает, как этому учат на курсе «Деплой DL-сервисов».

Смотрите по ссылке!

⚡️Следующий поток курса стартует 19 марта.
Присоединяйтесь!