Что такое LoRA и почему она работает (low-rank гипотеза)?

LoRA (Low-Rank Adaptation) — это метод тонкой настройки больших языковых моделей (LLM), который позволяет эффективно адаптировать модель к новым задачам с минимальными затратами ресурсов.

Идея основана на low-rank гипотезе: изменения весов большой модели при адаптации можно аппроксимировать матрицами низкого ранга. Вместо того чтобы обновлять все параметры модели, LoRA добавляет небольшие матрицы низкого ранга к существующим весам, обучая только их.

Это значительно снижает количество обучаемых параметров и объем памяти, необходимый для хранения адаптированной модели, при этом сохраняя качество и гибкость настройки.

Примерно это выглядит так:

# Пусть W — исходная матрица весов
# LoRA добавляет две матрицы A и B низкого ранга r
# Обновленные веса: W' = W + B @ A

# Во время обучения обновляются только A и B, а W остается фиксированной

Таким образом, LoRA позволяет быстро и эффективно адаптировать большие модели без необходимости полного переобучения.