Kas yra LoRA ir kodėl ji veikia (žemo rango hipotezė)?

LoRA (Low-Rank Adaptation) yra metodas, skirtas didelių kalbos modelių (LLM) smulkiam pritaikymui, leidžiantis efektyviai pritaikyti modelį naujoms užduotims su minimaliomis išlaidomis.

Idėja grindžiama žemo rango hipoteze: didelio modelio svorių pokyčiai adaptacijos metu gali būti apytikriai atvaizduojami žemo rango matricomis. Vietoj to, kad atnaujintume visus modelio parametrus, LoRA prideda mažas žemo rango matricas prie esamų svorių ir mokosi tik jų.

Tai žymiai sumažina mokomų parametrų skaičių ir atmintį, reikalingą saugoti adaptuotą modelį, išlaikant kokybę ir lankstumą.

Maždaug taip veikia:

# Tarkime, kad W yra pradinė svorių matrica
# LoRA prideda dvi žemo rango A ir B matricas
# Atnaujinti svoriai: W' = W + B @ A

# Treniruočių metu tik A ir B yra atnaujinami, W lieka fiksuotas

Šiuo būdu, LoRA leidžia greitai ir efektyviai pritaikyti didelius modelius be visiško pertrenavimo.