Расскажи про LoRA: что это такое, как обучается и как работает на инференсе?

LoRA (Low-Rank Adaptation) — это метод адаптации больших нейросетей с помощью обучения небольшого количества параметров, что позволяет эффективно дообучать модели без полного переобучения.

Как работает:

• В исходной модели веса слоя представляются в виде матриц.
• LoRA добавляет к этим матрицам низкоранговые поправки (разложение на две маленькие матрицы).
• Во время обучения обновляются только эти низкоранговые матрицы, а исходные веса остаются замороженными.

Обучение:

• Обучается только небольшое количество параметров, что снижает требования к ресурсам и время обучения.
• Позволяет быстро адаптировать модель под новые задачи или данные.

Инференс:

• Во время инференса поправки из LoRA матриц суммируются с исходными весами, создавая адаптированную модель.
• Это незначительно увеличивает вычисления, но сохраняет эффективность и компактность.

Примерно так можно представить: если исходная матрица весов W, то итоговый вес после LoRA — W + BA, где B и A — низкоранговые матрицы, обучаемые отдельно.