Povedz mi o LoRA: čo je, ako sa trénuje a ako funguje pri inferencii?

LoRA (Nízkorangová adaptácia) je metóda prispôsobenia veľkých neurónových sietí prostredníctvom trénovania malého počtu parametrov, čo umožňuje efektívne doladenie modelov bez úplného preškolenia.

Ako to funguje:

• V pôvodnom modeli sú váhy vrstvy reprezentované ako matice.
• LoRA pridáva k týmto maticiam korekcie nízkeho radu (rozklad na dve malé matice).
• Počas tréningu sa aktualizujú iba tieto matice nízkeho radu, zatiaľ čo pôvodné váhy zostávajú zamrznuté.

Tréning:

• Trénuje sa iba malý počet parametrov, čo znižuje požiadavky na zdroje a čas tréningu.
• Umožňuje rýchlo prispôsobiť model novým úlohám alebo dátam.

Inferencia:

• Počas inferencie sa korekcie z matíc LoRA sčítavajú s pôvodnými váhami, čím vzniká prispôsobený model.
• To mierne zvyšuje výpočty, ale zachováva efektívnosť a kompaktnosť.

Môžete si to predstaviť takto: ak je pôvodná matica váh W, tak konečná váha po LoRA je W + BA, kde B a A sú matice nízkeho radu, ktoré sa trénujú samostatne.