Aké hyperparametre LoRA sú dôležité (r, alpha, target_modules)?

V LoRA (Low-Rank Adaptation) sú dôležité nasledujúce hyperparametre:

• r (rango) — rang nízkorozmernej aproximácie. Určuje rozmer matíc, ktoré sa trénujú. Menšia hodnota r znižuje počet parametrov a výpočtovú záťaž, ale môže znížiť kvalitu adaptácie.

• alpha — škálovací koeficient. Zvyčajne sa používa na škálovanie výstupov LoRA adaptér, ovplyvňujúc rýchlosť a stabilitu učenia.

• target_modules — zoznam modulov modelu, na ktoré sa aplikuje LoRA. Umožňuje vybrať, ktoré časti modelu budú adaptované, čo je dôležité pre kontrolu objemu učenia a zachovanie výkonu.

Správny výber týchto parametrov ovplyvňuje rovnováhu medzi efektívnosťou učenia a kvalitou adaptácie modelu.