Welke hyperparameters van LoRA zijn belangrijk (r, alpha, target_modules)?

In LoRA (Low-Rank Adaptation) zijn de volgende hyperparameters belangrijk:

• r (rang) — rang van de laag-rang benadering. Bepaalt de dimensie van de matrices die getraind worden. Een lagere waarde van r vermindert het aantal parameters en de computationele belasting, maar kan de kwaliteit van de aanpassing verminderen.

• alpha — schaalcoëfficiënt. Wordt meestal gebruikt om de outputs van LoRA-adapters te schalen, wat invloed heeft op de snelheid en stabiliteit van de training.

• target_modules — lijst van modules in het model waarop LoRA wordt toegepast. Hiermee kan worden gekozen welke delen van het model worden aangepast, wat belangrijk is voor het controleren van de trainingsomvang en het behouden van de prestaties.

De juiste keuze van deze parameters beïnvloedt de balans tussen trainings-efficiëntie en de kwaliteit van de modelaanpassing.