Ispričaj mi o LoRA: šta je, kako se obučava i kako radi na inferenciji?

LoRA (Nisko-rang adaptacija) je metoda prilagođavanja velikih neuronskih mreža treniranjem malog broja parametara, što omogućava efikasno fino podešavanje modela bez potpune ponovne obuke.

Kako radi:

• U originalnom modelu, težine sloja su predstavljene kao matrice.
• LoRA dodaje tim matricama korekcije niskog ranga (dekompozicija na dve male matrice).
• Tokom obuke, ažuriraju se samo ove matrice niskog ranga, dok su originalne težine zamrznute.

Obuka:

• Trenira se samo mali broj parametara, što smanjuje zahteve za resursima i vremenom obuke.
• Omogućava brzo prilagođavanje modela novim zadacima ili podacima.

Inferencija:

• Tokom inferencije, korekcije iz LoRA matrica se sabiraju sa originalnim težinama, stvarajući prilagođeni model.
• Ovo neznatno povećava računanja, ali održava efikasnost i kompaktnost.

Može se zamisliti ovako: ako je originalna matrica težina W, tada je krajnja težina nakon LoRA W + BA, gde su B i A matrice niskog ranga, koje se treniraju odvojeno.