LoRA haqqında danış: bu nədir, necə öyrədilir və necə işləyir inference zamanı?

LoRA (Aşağı Rütbəli Uyğunlaşma) böyük neyron şəbəkələrinin uyğunlaşdırılması üçün bir metod olub, az sayda parametrin öyrədilməsi ilə modellərin effektiv şəkildə yenidən öyrədilməsinə imkan verir.

İş prinsipi:

• Əsas modeldə qatın çəkiləri matrislər şəklində təqdim olunur.
• LoRA bu matrislərə aşağı rütbəli düzəlişlər əlavə edir (iki kiçik matrisə ayrılma).
• Təlim zamanı yalnız bu aşağı rütbəli matrislər yenilənir, orijinal çəkilər isə dondurulur.

Təlim:

• Yalnız az sayda parametr öyrədilir, bu resurs və təlim vaxtını azaldır.
• Modelin yeni tapşırıqlara və ya verilərə sürətlə uyğunlaşmasına imkan verir.

İnferens:

• İnferens zamanı LoRA matrislərindən alınan düzəlişlər orijinal çəkilərə əlavə olunur və uyğunlaşdırılmış model yaradılır.
• Bu hesablamağı azaldır, amma səmərəliliyi və kiçikliyi qoruyur.

Bunu belə təsəvvür edə bilərsiniz: əgər orijinal çəkilər matrisi W isə, LoRA sonrası yekun çəkilər W + BA olur, burada B və A ayrı-ayrı öyrədilə bilən aşağı rütbəli matrislərdir.