LoRA эмне жана ал эмне үчүн иштейт (төмөн ранг гипотезасы)?

LoRA (Low-Rank Adaptation) — бул чоң тил моделдерин (LLM) такташтын бир жолу, ал моделди жаңы тапшырмаларга натыйжалуу ылайыкташтыруу үчүн минималдуу ресурстарды талап кылат.

Идея төмөн-ранг гипотезасына негизделген: чоң моделдин салмактарындагы өзгөрүүлөр адаптация учурунда төмөн-ранг матрицалар менен жакындатыла алат. Бардык параметрлерди жаңылоонун ордуна, LoRA бар болгон салмактарга кичинекей төмөн-ранг матрицаларды кошуп, алардын үстүндө үйрөтөт.

Бул параметрлердин санын жана сактоо үчүн керектүү эс тутумду кыйла азайтат, сапаты жана ийкемдүүлүгүн сактап калуу менен.

Мындан ары, бул так иштейт:

# W — баштапкы салмак матрицасы деп эсептейли
# LoRA эки төмөн-ранг A жана B матрицаларын кошот
# Жаңыланган салмактар: W' = W + B @ A

# Окутуу учурунда, гана A жана B жаңыланат, W өзгөрбөйт

Ошентип, LoRA чоң моделдерди тез жана натыйжалуу ылайыкташтыруу мүмкүнчүлүгүн берет, толук кайра окутууну талап кылбайт.