LoRA: краткий гайд перед собеседованием

Full fine‑tuning LLM — дорого и медленно. Если хочется дообучать LLM быстрее и дешевле, один из вариантов — Low‑Rank Adaptation (LoRA).

Идея подхода состоит в обучении компактных добавок к весам модели и оставлении базовых весов замороженными. Этот подход позволяет дообучить модель, сэкономив ресурсы на обучение, а скорость инференса останется как у оригинальной модели.

📌 Принцип работы LoRA

Линейный слой — матрица весов W размером d×d (для простоты рассматриваем квадратную). При full fine‑tuning для неё обновляется d² элементов. В LoRA веса остаются замороженными, а обучается только добавка ΔWᵈˣᵈ, которая является произведением матриц Bᵈˣʳ и Aʳˣᵈ. Выход h для линейного слоя с новой добавкой вычисляется по формуле:
h = Wx + (α / r) ∆Wx

где:

• x — входной вектор размерностью d;

• ∆W = BA, Aʳˣᵈ и Bᵈˣʳ — обучаемые матрицы весов, где r значительно меньше d. Таким образом, в LoRA обучаются 2*d*r параметров, то есть намного меньше, чем при full finetuning.

• α/r регулирует вклад адаптера:
- r — ёмкость адаптера. Чем она больше, тем сильнее обновления, но тем выше риск переобучения и стоимость шага обучения (время и VRAM). На практике начинают со значений в диапазоне от 4 до 32, при сложных задачах можно увеличить до 64.
- α — масштабирует вклад обновлений LoRA-адаптера. Здесь часто начинают с α = r. Если модель переобучается или градиенты нестабильны, можно уменьшать α (или добавить dropout). Главное — при изменении r держать α/r постоянным: если растет r, то α должен вырасти пропорционально.

Часто LoRA-адаптеры добавляют к линейным проекциям attention — query_proj и value_proj. Для большего качества можно добавить и к другим элементам блока трансформера, например, к MLP или output_proj.

Применение:
• При дообучении LLM для сервисов поиска с RAG, корпоративных ассистентов, мультиязычных моделей и др.
• Также популярен сценарий использования одной базовой LLM с несколькими адаптерами (multi-LoRA) под разные домены и клиентов.

📝Частые вопросы с собеседований

• Зачем матрица обновления ΔW раскладывается на произведение A и B ? Почему бы не использовать одну матрицу?
Если в качестве добавки использовать одну матрицу размером d × d — экономии не будет. Факторизация на Aʳˣᵈ и Bᵈˣʳ, где r значительно меньше d, сокращает количество обучаемых параметров и ускоряет обучение.

• Преимущества LoRA vs классические адаптеры?
LoRA не добавляет новых слоёв на инференсе, как в классических адаптерах, где из-за этого растёт latency и потребление памяти. Здесь их можно смержить в базовые веса, сложив по формуле и убрав накладные расходы на инференсе.

• Когда выбирать LoRA?
◦ Нужно дообучение при ограниченных ресурсах
Даже при 1-2 GPU по 24 GB можно дообучать модели размером 8b c LoRA и 30b с QLoRA, где базовая модель квантуется до 4-бит (NF4).
◦ Нужны лёгкие артефакты или быстрое переключение между доменами
LoRA-адаптеры — небольшие добавочные веса, которые легко подмешиваются / меняются на инференсе. Можно держать адаптеры для разных доменов (например, «техподдержка», «юридический стиль», «код») и по запросу активировать нужный (multi-LoRA).
◦ Важно не удлинять ввод на инференсе
В отличие от prompt / prefix-методов, которые добавляют позиции / KV-префиксы, увеличивают вычисления и KV-кэш, LoRA не меняет длину последовательности. А это критично для latency.
◦ Промптинг не даёт нужного качества или стабильного поведения
Если улучшение промпта не решает задачу, LoRA даёт более стабильное поведение и прирост качества при минимуме обучаемых параметров.

🔗 Полезные ссылки

• Оригинальная статья LoRA
• QLoRA
• Документация huggingface по LoRA

А чтобы знать, как применять finetuning для адаптации LLM под домен в реальном проекте — приходите на наш курс LLM Pro.
Старт — 13 ноября.
Читайте подробнее на сайте и оставляйте заявку до 12 ноября, чтобы присоединиться к обучению со скидкой 5% ⚡️

Автор: Алексей Яндутов

Заглядывайте к нам на второй канал!

В нашей школе преподаёт и учится много крутых инженеров с разной карьерой, интересами и опытом. Кто-то оптимизирует нейросети под мобилку, кто-то делает SLAM для автономных автомобилей, а кто-то занимается мультимодальными LLM.

Поэтому мы сделали формат, где инженеры рассказывают о себе. Каждую неделю в канале хозяйничает новый ведущий. Каждую неделю: новый человек, новая область и домен, новые истории, наблюдения и рекомендации.

Уже 19 человек успело рассказать о себе и своём опыте:

• Давид Свитов, PhD, провёл трансляцию с двух летних школ по DL в Италии и Китае
• Даша Воронкина, лид команды данных в OneCell, рассказала про работу в стартапе и тренды в разметке данных
• Андрей Филатов, лид в GenAI-стартапе, рассказал про митапы
• Илья Ревин, дважды PhD, доцент, лид разработки, филантроп... разобрал статью про тензорные разложения..ии заболел (бывает же!)
• Нина Коновалова, исследователь в AIRI, рассказала про будни ресёчера, межнар по ИИ и про свою свежую работу по контролю в диффузии
• Андрей Шадриков, RnD Lead в verigram, рассказал про опыт организации конференций и подготовку данных
• Лёня Верховцев, senior CV-инженер в Сбере, рассказал про obsidian, сплит-клавиатуру и о том, как отдыхать, чтобы больше деливерить
• Дима Гордин, senior MLE в verigram, дал задачку на биометрию в браузере и рассказал, что не так с ChatGPT для внутренних документов
• Шамиль Мамедов, PhD, senior researcher в Navio, рассказал про задачу планирования в self-driving, про получение PhD и работу в Amazon Robotics
• Артемий Мазаев, лид AI в Cloud.ru, рассказывал про LLM, агентов и вот это вот всё
• Анастасия Старобыховская, руководитель лаборатории Искусств и ИИ при Европейском Университете, рассуждала про организацию команды и поиск идей для решения нетипичных задач!
• Тимур Фатыхов, сооснователь DeepSchool и ex Lead CV-инженер KoronaPay, поделился историей создания DeepSchool и своим опытом тимлидства
• Дмитрий Диденко, инженер машинного обучения в кибербез компании, рассказал про применение ИИ в кибербезе и показал некоторые пет-проекты
• Илья Димов, senior NLP-инженер в Яндексе, рассуждал о карьере и чтении статей. А еще вывел задачки на интерактив!
• Александр Гордеев, Computer Vision Engineer, Sber AI, рассказал про свои пет-проекты и подготовил небольшой экскурс по методам classifier guidance и classifier-free guidance
• Антон Семенюта, ML-инженер в команде восприятия автономного транспорта Яндекса, рассказывал и показывал разное про автономный транспорт
• Алексей Глотов, Head of AI GetCourse, рассказывал про Управление и ИИ
• Артем Кравчук, лид CV-команды в 2ГИС, запустил свою олимпиаду «Изолированный китёнок» (и даже вручил почётную грамоту)
• Макс Шапошников, Research Engineer в Tessl, рассказал про агентов, а также как продолжать непрерывно учиться

Заглядывайте в канал, там интересно! https://news.1rj.ru/str/deepschool_underthehood

How to: уменьшить Docker-образ

Docker помогает разработчику сохранить время и нервные клетки — упростить деплой приложения и сделать окружение воспроизводимым. В течение проекта большинство инженеров, работающих с Docker, сталкиваются с проблемой роста размера образа и времени его сборки.

В новом видео показываем, как уменьшить размер Docker-образа и ускорить его сборку.

Смотрите по ссылке: https://youtu.be/QwOI46dF1rw 👀

Практики из видео — часть инженерного подхода, которому мы учим на курсе «DLOps»: от написания сервисов и их контейнеризации до CI/CD, мониторинга и поддержки ML-сервисов.

Старт 28 января. Оставьте заявку до 18 января, чтобы записаться со скидкой 20%! ⚡️

Осталось 3 часа до лекции по DLOps!

Сегодня Дмитрий Раков и Тимур Фатыхов покажут, как выглядит путь модели после обучения!

На лекции вы узнаете:
- когда стоит использовать Jupyter-ноутбуки, а когда нет
- как подготовить репозиторий моделинга
- варианты конвертации модели
- как обернуть инференс в http-приложение
- чем помогает Model Serving
- как деплоят приложения и автоматизируют этот процесс

А в конце представим курс «DLOps» и подарим скидки на обучение✨

Регистрируйтесь и приходите сегодня в 18:00 МСК!