Jaké hyperparametry LoRA jsou důležité (r, alpha, target_modules)?

V LoRA (Low-Rank Adaptation) jsou důležité následující hyperparametry:

• r (ranga) — rang nízkorozměrné aproximace. Určuje rozměr matice, které se trénují. Menší hodnota r snižuje počet parametrů a výpočetní zátěž, ale může snížit kvalitu adaptace.

• alpha — škálovací koeficient. Obvykle se používá ke škálování výstupů LoRA adaptérů, ovlivňuje rychlost a stabilitu učení.

• target_modules — seznam modulů modelu, na které se LoRA aplikuje. Umožňuje vybrat, které části modelu budou adaptovány, což je důležité pro kontrolu objemu učení a zachování výkonu.

Správný výběr těchto parametrů ovlivňuje rovnováhu mezi efektivitou učení a kvalitou adaptace modelu.