Quali iperparametri di LoRA sono importanti (r, alpha, target_modules)?

In LoRA (Low-Rank Adaptation), i seguenti iperparametri sono importanti:

• r (grado) — rango dell’approssimazione a basso rango. Determina la dimensionalità delle matrici addestrate. Un valore più basso di r riduce il numero di parametri e il carico computazionale, ma può diminuire la qualità dell’adattamento.

• alpha — coefficiente di scalatura. Usato generalmente per scalare le uscite degli adattatori LoRA, influenzando la velocità e la stabilità dell’addestramento.

• target_modules — lista dei moduli del modello a cui si applica LoRA. Permette di scegliere quali parti del modello saranno adattate, importante per controllare il volume dell’addestramento e mantenere le prestazioni.

La scelta corretta di questi parametri influisce sull’equilibrio tra efficienza dell’addestramento e qualità dell’adattamento del modello.