LoRA چیست و چرا کار می‌کند (فرضیه رتبه پایین)؟

LoRA (Low-Rank Adaptation) усулест, ки барои танзими дақиқи моделҳои бузурги забон (LLM) кӯмак мекунад, ки моделро ба вазифаҳои нав бо истифодаи камтарин захираҳо мутобиқ созад.

Ҳикоя асос ёфтааст ба гипотезаи рангҳои паст: тағирот дар вазнҳои модели бузург дар вақти мутобиқсозӣ метавонанд бо матрицҳои рангҳои паст тақлид карда шаванд. Ба ҷои навсозии ҳамаи параметрҳои модели, LoRA матрицҳои хурди рангҳои пастро ба вазнҳои мавҷуда илова мекунад ва танҳо онҳоро омӯзиш медиҳад.

Ин ба таври назаррас шумораи параметрҳои омӯзишшаванда ва ёдгирии заруриро барои нигоҳдории модели мутобиқшударо кам мекунад, дар ҳоле ки сифат ва чандирии танзимро нигоҳ медорад.

Ҳамин тавр, ин кор мекунад:

# Гумон мекунем, ки W матрицаи вазнҳои аслӣ аст
# LoRA ду матрицаи A ва B бо рангҳои паст илова мекунад
# Вазнҳои навшуда: W' = W + B @ A

# Дар вақти омӯзиш, танҳо A ва B нав карда мешаванд, W боқӣ мемонад

Ин роҳ, LoRA имкон медиҳад, ки моделҳои бузургро ба суръат ва самаранокӣ мутобиқ кардан, бе ниёз ба омӯзиши пурра.