Какво е LoRA и защо работи (хипотеза за нисък ранг)?

LoRA (Low-Rank Adaptation) е метод за фина настройка на големи езикови модели (LLM), който позволява ефективно адаптиране на модела към нови задачи с минимални ресурси.

Идеята се базира на хипотезата за нисък ранг: промените в теглата на голям модел по време на адаптация могат да бъдат приближени чрез нискорангови матрици. Вместо да актуализира всички параметри на модела, LoRA добавя малки нискорангови матрици към съществуващите тегла и обучава само тях.

Това значително намалява броя на обучаемите параметри и паметта, необходима за съхранение на адаптирания модел, като същевременно запазва качеството и гъвкавостта.

Приблизително това работи така:

# Нека W е оригиналната матрица на теглата
# LoRA добавя две нискорангови матрици A и B
# Актуализирани тегла: W' = W + B @ A

# По време на обучение, само A и B се актуализират, W остава фиксирано

По този начин, LoRA позволява бързо и ефективно адаптиране на големи модели без необходимост от пълно повторно обучение.