Räägi mulle LoRA-st: mis see on, kuidas see treenitakse ja kuidas see töötab inferentsil

LoRA (Madala Rühma Kohandamine) on meetod suurte närvivõrkude kohandamiseks, kus treenitakse ainult väike arv parameetreid, võimaldades tõhusalt täiustada mudeleid ilma täieliku uuesti treenimiseta.

Kuidas see töötab:

• Algupärases mudelis esitatakse kihi kaalud maatrikstidena.
• LoRA lisab nendele maatrikstidele madala rühma parandusi (jaotamine kaheks väikseks maatriksiks).
• Treeningu ajal uuendatakse ainult neid madala rühma maatrikseid, samas kui algsed kaalud jäävad külmutatuks.

Treening:

• Treenitakse ainult väike arv parameetreid, mis vähendab ressursi- ja treeninguaega.
• Võimaldab kiiresti kohandada mudelit uute ülesannete või andmetega.

Inferents:

• Inferentsi ajal liidetakse LoRA maatriksite parandused algsete kaaludega, luues kohandatud mudeli.
• See suurendab arvutusi veidi, kuid säilitab tõhususe ja kompaktse struktuuri.

Võite seda ette kujutada nii: kui algne kaalumaatriks on W, siis LoRA järgselt on lõplik kaal W + BA, kus B ja A on madala rühma maatriksid, mida treenitakse eraldi.