DoRA nima va u LoRA dan qanday farq qiladi?

DoRA (Domain-oriented Retrieval Augmentation) va LoRA (Low-Rank Adaptation) katta til modellari moslashtirish usullari bo‘lib, ular turli yondashuvlarga ega.

• LoRA — modelni nozik sozlash usuli bo‘lib, modelning og‘irliklariga past darajali matritsalarni qo‘shadi, bu esa modelni samarali tarzda moslashtirish imkonini beradi, barcha parametrlarni o‘zgartirmasdan.

• DoRA — modelni yaxshilash uchun tashqi manbalardan (qaytarish) muhim ma’lumotlarni integratsiya qilishga qaratilgan usul bo‘lib, u aniq bir soha (domen) ga yo‘naltirilgan. Bu modelga joriy ma’lumotlardan foydalanib javoblar yaratish imkonini beradi.

Shunday qilib, LoRA — parametrli model moslashtirish texnikasi, DoRA esa tashqi bilimlar yordamida modelni kengaytiradigan yondashuvdir.