LoRA nədir və niyə işləyir (aşağı-rütbəli hipoteza)?
sobes.tech Süni İntellekt
AI-dan cavab
LoRA (Low-Rank Adaptation) böyük dil modellərinin (LLM) incə tənzimlənməsi üçün bir metod olub, modeli yeni tapşırıqlara effektiv şəkildə uyğunlaşdırmağa imkan verir, minimal resurslarla.
Fikir aşağı-rütbəli hipotez əsasında qurulub: böyük modelin uyğunlaşdırılması zamanı çəkilərdəki dəyişikliklər aşağı-rütbəli matrislərlə təxmini edilə bilər. Modelin bütün parametrlərini yeniləmək əvəzinə, LoRA mövcud çəkilərə kiçik aşağı-rütbəli matrislər əlavə edir və yalnız onları öyrənir.
Bu, öyrənilə bilən parametr sayını və uyğunlaşdırılmış modeli saxlamaq üçün lazım olan yaddaşı əhəmiyyətli dərəcədə azaldır, keyfiyyət və elastikliyi qoruyaraq.
Təxminən belə işləyir:
# W-nin orijinal çəkilər matrisini qəbul edək
# LoRA iki aşağı-rütbəli A və B matrisləri əlavə edir
# Yenilənmiş çəkilər: W' = W + B @ A
# Təlim zamanı yalnız A və B yenilənir, W isə sabit qalır
Bu şəkildə, LoRA böyük modelləri sürətli və effektiv şəkildə uyğunlaşdırmağa imkan verir, tam yenidən təlimə ehtiyac olmadan.