Kas ir LoRA un kāpēc tā darbojas (zema ranga hipotēze)?

LoRA (Low-Rank Adaptation) ir metode, kas ļauj efektīvi pielāgot lielas valodu modeļus (LLM) ar minimāliem resursiem.

Ideja ir balstīta uz zema ranga hipotēzi: lielā modeļa svaru izmaiņas adaptācijas laikā var aptuveni raksturot ar zema ranga matricēm. Tā vietā, lai atjauninātu visus modeļa parametrus, LoRA pievieno mazus zema ranga matricus esošajiem svariem un apmāca tikai tos.

Tas būtiski samazina apmācāmo parametru skaitu un atmiņu, kas nepieciešama adaptētā modeļa glabāšanai, saglabājot kvalitāti un elastību.

Aptuveni tas darbojas šādi:

# Pieņemsim, ka W ir sākotnējā svaru matrica
# LoRA pievieno divas zema ranga A un B matricus
# Atjauninātie svari: W' = W + B @ A

# Apmācības laikā tikai A un B tiek atjaunināti, W paliek nemainīgs

Tādējādi, LoRA ļauj ātri un efektīvi pielāgot lielas modeļus bez pilnīgas pārtrainēšanas nepieciešamības.