Որոնք են LoRA-ի կարևոր հիպերպարամետրերը (r, alpha, target_modules)?

LoRA (Low-Rank Adaptation)-ում կարևոր են հետևյալ հիպերպարամետրերը՝

• r (դասարան) — ցածր դասարանի մոտեցման դասարան։ Կարգավորում է ուսուցանվող մատրիցների չափը։ Փոքր արժեքը նվազեցնում է պարամետրերի քանակը և հաշվարկային բեռը, բայց կարող է նվազեցնել հարմարեցման որակը։

• alpha — չափաբաժնի գործակից։ Սովորաբար օգտագործվում է LoRA ադապտերների ելքերի չափաբաժնին, ազդելով ուսուցման արագության և կայունության վրա։

• target_modules — մոդուլների ցանկը, որոնց վրա կիրառվում է LoRA։ Позволяет выбрать, թե որ մասերը մոդելի կդառնան հարմարեցված, ինչը կարևոր է ուսուցման ծավալը վերահսկելու և կատարողականությունը պահպանելու համար։

Ստուգված ընտրությունը այս պարամետրերի, ազդում է ուսուցման արդյունավետության և մոդելի հարմարեցման որակի միջև հավասարակշռության վրա։