LoRA-nın hansı hiperparametrləri vacibdir (r, alpha, target_modules)?

LoRA (Low-Rank Adaptation) üçün aşağıdakı hiperparametrlər vacibdir:

• r (rütbə) — aşağı rütbəli təxmini üçün rütbə. Təlim olunan matrislərin ölçüsünü müəyyən edir. Kiçik r dəyəri parametr sayını və hesablamanın yükünü azaldır, lakin uyğunlaşma keyfiyyətini azalda bilər.

• alpha — ölçüləndirmə koeffisienti. Adətən LoRA adapterlərinin çıxışlarını ölçüləndirmək üçün istifadə olunur, təlim sürəti və stabilliyinə təsir edir.

• target_modules — LoRA tətbiq olunan model modullarının siyahısı. Hansı hissələrin uyğunlaşdırılacağını seçməyə imkan verir, bu da təlim həcmini idarə etmək və performansı saxlamaq üçün vacibdir.

Bu parametrlərin düzgün seçimi, təlimin səmərəliliyi və modelin uyğunlaşma keyfiyyəti arasında balansı təmin edir.