Quais hiperparâmetros do LoRA são importantes (r, alpha, target_modules)?

No LoRA (Low-Rank Adaptation), os seguintes hiperparâmetros são importantes:

• r (posto) — posto da aproximação de baixo posto. Define a dimensionalidade das matrizes que são treinadas. Um valor menor de r reduz o número de parâmetros e a carga computacional, mas pode diminuir a qualidade da adaptação.

• alpha — coeficiente de escala. Geralmente usado para escalar as saídas dos adaptadores LoRA, influenciando a velocidade e estabilidade do treinamento.

• target_modules — lista de módulos do modelo aos quais o LoRA é aplicado. Permite escolher quais partes do modelo serão adaptadas, o que é importante para controlar o volume do treinamento e manter o desempenho.

A escolha correta desses parâmetros afeta o equilíbrio entre a eficiência do treinamento e a qualidade da adaptação do modelo.