Ի՞նչ է LoRA-ն և ինչու է այն աշխատում (նվազագույն կարգի հիպոթեզ):
sobes.tech AI
Պատասխան AI-ից
LoRA (Low-Rank Adaptation)-ը մեծ լեզվական մոդելների (LLM) նուրբ կարգավորման մեթոդ է, որը թույլ է տալիս արդյունավետ կերպով հարմարեցնել մոդելը նոր առաջադրանքների համար՝ նվազագույն ռեսուրսներով:
Իդեան հիմնված է ցածր կարգի гипոտեզի վրա. մեծ մոդելի քաշերի փոփոխությունները ժամանակի ընթացքում կարող են մոտավորվել ցածր կարգի մատրիցներով: Փոխարենը, որ ամբողջ մոդելի պարամետրերը թարմացվեն, LoRA-ն ավելացնում է փոքր ցածր կարգի մատրիցներ առկա քաշերին և միայն դրանք է ուսուցանում:
Այս մոտեցումը զգալիորեն նվազեցնում է ուսուցանվող պարամետրերի քանակը և պահեստավորման համար անհրաժեշտ հիշողությունը, միաժամանակ պահպանելով որակը և ճկունությունը:
Մոտավորապես այսպես է աշխատում.
# Ենթադրենք, որ W-ը սկզբնական քաշերի մատրիցա է
# LoRA-ն ավելացնում է երկու ցածր կարգի A և B մատրիցներ
# Թարմացված քաշեր՝ W' = W + B @ A
# Ուսուցման ժամանակ, միայն A և B-ն են թարմացվում, W-ը մնում է անփոփոխ
Այսպիսով, LoRA-ն արագ և արդյունավետ կերպով կարող է հարմարեցնել մեծ մոդելները՝ առանց լրիվ վերապատրաստման անհրաժեշտության։