DoRA nedir ve LoRA'dan nasıl ayrılır?

DoRA (Alanlara Yönelik Geri Getirme Artırımı) ve LoRA (Düşük Rütbe Uyarlaması) büyük dil modellerinin uyarlanması için kullanılan yöntemlerdir, ancak farklı yaklaşımlara sahiptirler.

• LoRA, modelin ince ayar yöntemi olup, modelin ağırlıklarına düşük rütbeli matrisler ekleyerek, tüm parametreleri değiştirmeden modeli etkili bir şekilde uyarlamayı sağlar.

• DoRA, modelin, dış kaynaklardan (geri getirme) ilgili bilgileri entegre ederek, belirli bir alan (alan) odaklanmış şekilde geliştirilmesine odaklanan bir yöntemdir. Bu, modelin güncel verileri kullanarak yanıtlar üretmesine olanak tanır.

Bu nedenle, LoRA modelin parametrik uyarlama tekniği iken, DoRA, dış bilgiyle genişleten ve belirli bir alan odaklı bir yaklaşımdır.