Šta je LoRA i zašto radi (hipoteza niskog ranga)?

LoRA (Low-Rank Adaptation) je metoda finog podešavanja velikih jezičkih modela (LLM) koja omogućava efikasno prilagođavanje modela novim zadacima uz minimalne resurse.

Ideja se zasniva na hipotezi niskog ranga: promene u težinama velikog modela tokom adaptacije mogu se aproksimirati matricama niskog ranga. Umesto da se ažuriraju svi parametri modela, LoRA dodaje male matrice niskog ranga postojećim težinama, trenirajući samo njih.

Ovo značajno smanjuje broj treniranih parametara i memoriju potrebnu za skladištenje adaptiranog modela, uz očuvanje kvaliteta i fleksibilnosti podešavanja.

Otprilike, ovo funkcioniše ovako:

# Pretpostavimo da je W originalna matrica težina
# LoRA dodaje dve matrice A i B niskog ranga r
# Ažurirane težine: W' = W + B @ A

# Tokom treninga, samo A i B se ažuriraju, W ostaje fiksno

Na ovaj način, LoRA omogućava brzo i efikasno prilagođavanje velikih modela bez potrebe za potpunim ponovnim treniranjem.