Ի՞նչ է DoRA-ն և ինչպե՞ս է այն տարբերվում LoRA-ից։

DoRA (Դոմեն-կողմնորոշված Հետբերման Ավելացում) և LoRA (Անվտանգային Դրամագծի Աдапտացիա) մեծ լեզվական մոդելների հարմարեցման մեթոդներ են, բայց տարբեր մոտեցումներով:

• LoRA-ն մոդելի մանրամասն կարգավորելու մեթոդ է, որը ավելացնում է ցածր կարգի մատրիցներ մոդելի քաշերին, ինչը թույլ է տալիս արդյունավետ կերպով հարմարեցնել մոդելը առանց բոլոր պարամետրերը փոխելու:

• DoRA-ն մի մեթոդ է, որը կենտրոնացած է մոդելի բարելավման վրա արտաքին աղբյուրներից (վերադարձ) համապատասխան տեղեկատվություն ինտեգրելով, կենտրոնանալով կոնկրետ ոլորտի վրա։ Սա թույլ է տալիս մոդելին օգտագործել արդիական տվյալներ պատասխաններ ստեղծելու համար:

Այսպիսով, LoRA-ն մոդելի պարամետրային հարմարեցման տեխնիկա է, իսկ DoRA-ն մի մոտեցում է, որը ընդլայնում է մոդելն արտաքին գիտելիքների միջոցով, կենտրոնանալով կոնկրետ ոլորտի վրա։