Care hiperparametri ale LoRA sunt importanți (r, alpha, target_modules)?

În LoRA (Low-Rank Adaptation), următorii hiperparametri sunt importanți:

• r (rang) — rangul aproximării cu rang redus. Determină dimensiunea matricelor care sunt antrenate. O valoare mai mică a lui r reduce numărul de parametri și sarcina computațională, dar poate reduce calitatea adaptării.

• alpha — coeficientul de scalare. Este folosit de obicei pentru a scala ieșirile adaptatorilor LoRA, influențând viteza și stabilitatea antrenamentului.

• target_modules — lista modulelor modelului asupra cărora se aplică LoRA. Permite alegerea părților modelului care vor fi adaptate, ceea ce este important pentru controlul volumului de antrenament și menținerea performanței.

Alegerea corectă a acestor parametri influențează echilibrul dintre eficiența antrenamentului și calitatea adaptării modelului.