Čo je LoRA a prečo funguje (hipotéza nízkeho radu)?

LoRA (Low-Rank Adaptation) je metóda jemného doladenia veľkých jazykových modelov (LLM), ktorá umožňuje efektívne prispôsobenie modelu novým úlohám s minimálnymi zdrojmi.

Myšlienka je založená na hypotéze nízkeho rádu: zmeny vo váhach veľkého modelu počas adaptácie je možné približne reprezentovať nízkorangovými maticami. Namiesto aktualizácie všetkých parametrov modelu LoRA pridáva malé nízkorangové matice k existujúcim váham a učí sa iba tieto.

Toto výrazne znižuje počet trénovateľných parametrov a pamäť potrebnú na uloženie adaptovaného modelu, pričom zachováva kvalitu a flexibilitu ladenia.

Približne to funguje takto:

# Predpokladajme, že W je pôvodná matica váh
# LoRA pridáva dve matice A a B nízkeho rádu r
# Aktualizované váhy: W' = W + B @ A

# Počas tréningu sú aktualizované iba A a B, W zostáva pevné

Týmto spôsobom LoRA umožňuje rýchle a efektívne prispôsobenie veľkých modelov bez potreby úplného preškolenia.