Кои хиперпараметри на LoRA са важни (r, alpha, target_modules)?

В LoRA (Low-Rank Adaptation) важни са следните хиперпараметри:

• r (ранг) — ранг на нискоранговата апроксимация. Определя размерността на матриците, които се обучават. По-малка стойност на r намалява броя на параметрите и изчислителната натовареност, но може да намали качеството на адаптацията.

• alpha — коефициент на мащабиране. Обикновено се използва за мащабиране на изходите на LoRA адаптерите, влияейки върху скоростта и стабилността на обучението.

• target_modules — списък с модулите на модела, към които се прилага LoRA. Позволява да се изберат части от модела, които ще бъдат адаптирани, което е важно за контролиране на обема на обучението и запазване на производителността.

Правилният избор на тези параметри влияе върху баланса между ефективността на обучението и качеството на адаптацията на модела.