LoRA'nın hangi hiperparametreleri önemlidir (r, alpha, target_modules)?

LoRA (Low-Rank Adaptation) içinde aşağıdaki hiperparametreler önemlidir:

• r (derece) — düşük dereceli yaklaşımın derecesi. Eğitilen matrislerin boyutunu belirler. Daha küçük bir r değeri, parametre sayısını ve hesaplama yükünü azaltır, ancak uyum kalitesini düşürebilir.

• alpha — ölçekleme katsayısı. Genellikle LoRA adaptörlerinin çıkışlarını ölçeklendirmek için kullanılır, eğitim hızı ve stabilitesini etkiler.

• target_modules — LoRA'nın uygulandığı model modüllerinin listesi. Hangi parçaların uyum sağlayacağını seçmeye olanak tanır, bu da eğitim hacmini kontrol etmek ve performansı korumak için önemlidir.

Bu parametrelerin doğru seçimi, eğitim verimliliği ile model uyumu kalitesi arasında denge sağlar.