Jakie hiperparametry LoRA są ważne (r, alpha, target_modules)?

W LoRA (Low-Rank Adaptation) ważne są następujące hiperparametry:

• r (ranga) — ranga niskorozkładowej aproksymacji. Określa wymiarowość macierzy, które są trenowane. Mniejsza wartość r zmniejsza liczbę parametrów i obciążenie obliczeniowe, ale może obniżyć jakość adaptacji.

• alpha — współczynnik skalowania. Zazwyczaj używany do skalowania wyjść adapterów LoRA, wpływając na szybkość i stabilność uczenia się.

• target_modules — lista modułów modelu, do których stosuje się LoRA. Pozwala wybrać, które części modelu będą adaptowane, co jest ważne dla kontroli objętości treningu i zachowania wydajności.

Właściwy wybór tych parametrów wpływa na równowagę między efektywnością uczenia a jakością adaptacji modelu.