Millised on LoRA olulised hüperparameetrid (r, alpha, target_modules)?

LoRA (Low-Rank Adaptation) puhul on olulised järgmised hüperparameetrid:

• r (aste) — madala astme lähenemise aste. Määrab treenitavate maatriksite suuruse. Väiksem r väärtus vähendab parameetrite arvu ja arvutuskoormust, kuid võib vähendada kohandamise kvaliteeti.

• alpha — skaleerimiskoefitsient. Kasutatakse tavaliselt LoRA adapterite väljundite skaleerimiseks, mõjutades õppimise kiirust ja stabiilsust.

• target_modules — moodulite nimekiri, millele LoRA rakendatakse. Võimaldab valida, millised moodulid saavad kohanduda, mis on oluline treeningu mahu kontrollimiseks ja jõudluse säilitamiseks.

Õige nende parameetrite valik mõjutab tasakaalu õppimise tõhususe ja mudeli kohandamise kvaliteedi vahel.