Маалымат бериңиз LoRA жөнүндө: Бул эмне, кантип үйрөтүлөт жана ишенимде кантип иштейт?

LoRA (Төмөн Ранг Адаптациясы) — бул чоң нейрондук тармактарды адаптациялоо ыкмасы, ал аз параметрлерди үйрөнүү аркылуу моделдерди натыйжалуу кайра үйрөтүүгө мүмкүндүк берет.

Эмне кылат:

• Баштапкы моделде катмардын салмактары матрицалар түрүндө көрсөтүлөт.
• LoRA бул матрицаларга төмөн рангдуу оңдоолорду кошот (эки кичинекей матрицаларга бөлүү).
• Үйрөнүү учурунда, бул төмөн рангдуу матрицалар гана жаңыртылат, ал эми баштапкы салмактар муздатылат.

Үйрөнүү:

• Жөн гана аз параметрлер үйрөтүлөт, бул ресурстарга жана үйрөтүү убактысына талаптарды азайтат.
• Моделди жаңы тапшырмаларга же маалыматтарга тез ылайыкташтыруу мүмкүнчүлүгүн берет.

Инференция:

• Инференция учурунда, LoRA матрицаларынан келген оңдоолор баштапкы салмактарга кошулат, ошентип ылайыкташкан модел пайда болот.
• Бул эсептөөлөрдү азайтат, бирок натыйжалуулук жана компакттуулук сакталат.

Муну мындайча элестетсе болот: эгер баштапкы салмак матрицасы W болсо, анда LoRAдан кийин акыркы салмак W + BA болот, анда B жана A — төмөн рангдуу матрицалар, алар өз алдынча үйрөтүлөт.