Čo je DoRA a v čom sa líši od LoRA?

DoRA (Domenovo orientované rozšírenie získavania) a LoRA (Nízkorangová adaptácia) sú metódy prispôsobovania veľkých jazykových modelov, ale s rôznymi prístupmi.

• LoRA je metóda jemného doladenia modelu, ktorá pridáva nízkorangové matice k váham modelu, čo umožňuje efektívne prispôsobenie modelu bez zmeny všetkých parametrov.

• DoRA je metóda, ktorá sa zameriava na zlepšenie modelu integráciou relevantných informácií z externých zdrojov (retrieval), zameranú na konkrétnu oblasť (domen). To umožňuje modelu používať aktuálne údaje na generovanie odpovedí.

Preto je LoRA technikou parametrickej adaptácie modelu, zatiaľ čo DoRA je prístup, ktorý rozširuje model pomocou externých znalostí, zameraný na konkrétnu oblasť.