Что такое LoRA (Low-Rank Adaptation)?

LoRA (Low-Rank Adaptation) — это метод адаптации больших нейросетевых моделей, позволяющий эффективно дообучать их на новых данных с минимальными затратами ресурсов.

Идея в том, что вместо полного обновления всех весов модели, LoRA вводит дополнительные низкоранговые матрицы, которые обучаются, а исходные веса остаются замороженными. Это значительно снижает количество параметров, которые нужно хранить и обновлять.

Пример: если в слое модели есть матрица весов W, LoRA заменяет её на W + ΔW, где ΔW = A·B, а A и B — низкоранговые матрицы с маленькой размерностью. Обучаются только A и B.

Такой подход позволяет быстро адаптировать большие модели под новые задачи или домены, экономя время и память, что особенно полезно при работе с большими языковыми моделями и другими крупными архитектурами.