LoRA nima va nima uchun ishlaydi (past darajali gipoteza)?

LoRA (Low-Rank Adaptation) katta til modellari (LLM) ni nozik sozlash usuli bo‘lib, modelni yangi vazifalarga samarali moslashtirishga imkon beradi, minimal resurslar bilan.

G‘oya past-rank gipotezasiga asoslangan: katta modelning moslashtirilishi davomida og‘irliklar o‘zgarishi past-rankli matritsalar bilan taxmin qilinishi mumkin. Modelning barcha parametrlarini yangilash o‘rniga, LoRA mavjud og‘irliklarga kichik past-rankli matritsalar qo‘shadi va faqat ularni o‘rgatadi.

Bu, o‘qitiladigan parametrlar sonini va moslashtirilgan modelni saqlash uchun zarur bo‘lgan xotirani sezilarli darajada kamaytiradi, sifat va moslashuvchanlikni saqlab qoladi.

Taxminan, bu shunday ishlaydi:

# W ning asl og‘irlik matritsasi deb faraz qilamiz
# LoRA ikki past-rankli A va B matritsalarini qo‘shadi
# Yangilangan og‘irliklar: W' = W + B @ A

# Trening davomida faqat A va B yangilanadi, W esa o‘zgarmas qoladi

Shu tarzda, LoRA katta modellarga tez va samarali moslashishga imkon beradi, to‘liq qayta o‘qitish shart emas.