LoRA nedir ve neden çalışıyor (düşük-rank hipotezi)?
sobes.tech yapay zeka
AI'dan gelen yanıt
LoRA (Low-Rank Adaptation), büyük dil modellerinin (LLM) ince ayarını yapan bir yöntemdir ve modeli yeni görevlere verimli bir şekilde uyarlamayı sağlar, minimum kaynak kullanımıyla.
Fikir, düşük rütbe varsayımına dayanır: bir büyük modelin uyarlama sırasında ağırlıklarındaki değişiklikler, düşük rütbeli matrislerle yaklaşık olarak temsil edilebilir. Modelin tüm parametrelerini güncellemek yerine, LoRA mevcut ağırlıklara küçük düşük rütbeli matrisler ekler ve sadece bunları eğitir.
Bu, eğitilebilir parametrelerin sayısını ve uyarlanmış modeli depolamak için gereken belleği önemli ölçüde azaltırken, kalite ve esneklikten ödün vermez.
Yaklaşık olarak şöyle çalışır:
# W’nin orijinal ağırlık matrisi olduğunu varsayalım
# LoRA, düşük rütbeli iki matris A ve B ekler
# Güncellenmiş ağırlıklar: W' = W + B @ A
# Eğitim sırasında sadece A ve B güncellenir, W sabit kalır
Bu şekilde, LoRA büyük modelleri hızlı ve verimli bir şekilde uyarlamayı sağlar, tam yeniden eğitim gerekmeden.