Kokie yra svarbūs LoRA hiperparametrai (r, alpha, target_modules)?

LoRA (Low-Rank Adaptation) atveju svarbūs yra šie hiperparametrai:

• r (rangas) — žemo rango artinimo rangas. Nustato matricos dydį, kurios mokomos. Mažesnė r reikšmė sumažina parametrų skaičių ir skaičiavimų apkrovą, tačiau gali sumažinti adaptacijos kokybę.

• alpha — mastelio koeficientas. Paprastai naudojamas LoRA adapterių išėjimų mastelio keitimui, įtakoja mokymosi greitį ir stabilumą.

• target_modules — sąrašas modelio modulių, kuriems taikomas LoRA. Leidžia pasirinkti, kurios modelio dalys bus pritaikytos, tai svarbu mokymosi apimties kontrolei ir našumo išlaikymui.

Tinkamas šių parametrų pasirinkimas daro įtaką pusiausvyrai tarp mokymosi efektyvumo ir modelio adaptacijos kokybės.