LoRA haqida gapir: bu nima, qanday o'qitiladi va qanday ishlaydi inferenceda?

LoRA (Pastki Raqamli Moslashuv) — bu katta neyron tarmoqlarini moslashtirish usuli bo‘lib, u juda kam parametrni o‘rgatish orqali modellarning samarali tarzda qo‘shimcha o‘qitilishini ta’minlaydi.

Qanday ishlaydi:

• Asl modelda qatlamning vaznlari matritsalar shaklida ifodalanadi.
• LoRA bu matritsalarga pastki rangi bo‘ladigan tuzatishlar qo‘shadi (ikki kichik matritsaga bo‘linish).
• O‘qitish davomida faqat bu pastki rangi bo‘lgan matritsalar yangilanadi, asl vaznlar esa muzlatiladi.

O‘qitish:

• Faqat oz miqdordagi parametrlar o‘rgatiladi, bu esa resurslar va o‘qitish vaqtini qisqartiradi.
• Modelni yangi vazifalar yoki ma’lumotlarga tez moslashtirish imkonini beradi.

Inferens:

• Inferens vaqtida, LoRA matritsalaridan kelgan tuzatishlar asl vaznlar bilan qo‘shiladi, natijada moslashtirilgan model hosil bo‘ladi.
• Bu hisoblashlarni biroz oshiradi, lekin samaradorlik va ixchamlikni saqlab qoladi.

Buni shunday tasavvur qilish mumkin: agar asl vazn matritsasi W bo‘lsa, LoRA dan keyingi yakuniy vazn W + BA bo‘ladi, bunda B va A alohida o‘rgatiladigan pastki rangi bo‘lgan matritsalar.