🔍 Метод адаптации больших языковых моделей - LoRA

В области искусственного интеллекта существует важная задача: адаптация больших предобученных языковых моделей, (например GPT-4 или Llama), для конкретных задач. Традиционный подход - полное дообучение, требует переобучения всех параметров модели. Но так как модели большие - переобучать их непомерно дорого и ресурсоемко.

Решением этой проблемы является метод LoRA (Low-Rank Adaptation), разработанный исследователями из Microsoft. Кстати, я уже упоминал этот метод раньше.

LoRA фиксирует веса предобученной модели и встраивает обучаемые матрицы разложения низкого ранга в каждый/любой по выбору слой трансформера. Таким образом, мы можем значительно снизить количество обучаемых параметров для последующих задач.

💡 Как это работает?
- Обычно, когда мы учим модель, мы меняем множество настроек (называемых весами) в ней. Это как регулировка множества крутилок, чтобы модель лучше справлялась со своей задачей.
- LoRA говорит, что не нужно крутить все крутилки. Она предлагает менять только некоторые из них, основываясь на идее, что это будет почти так же эффективно.
- Получается, что вместо того чтобы настраивать множество параметров, мы фокусируемся только на ключевых. Следовательно, процесс обучения становится быстрее и требует меньше ресурсов (денег).

Эксперименты показали, что LoRA работает наравне или лучше, чем полное дообучение на таких моделях, как RoBERTa, DeBERTa, GPT-2 и GPT-3, несмотря на меньшее количество обучаемых параметров.

🔗 GitHub проекта
🤩 Статья