Kas yra DoRA ir kaip ji skiriasi nuo LoRA?

DoRA (Domeniškai orientuotas atkūrimo priedas) ir LoRA (Žemo rango adaptacija) yra metodai, skirti didelių kalbos modelių pritaikymui, tačiau su skirtingais požiūriais.

• LoRA yra modelio tobulinimo metodas, kuris prideda žemo rango matricų prie modelio svorių, leidžiant efektyviai pritaikyti modelį nesikeičiant visų parametrų.

• DoRA yra metodas, kuris siekia pagerinti modelį integruojant aktualią informaciją iš išorinių šaltinių (retrieval), orientuotą į konkretų domeną. Tai leidžia modeliui naudoti naujausius duomenis atsakymų generavimui.

Todėl, LoRA yra parametrinio modelio pritaikymo technika, o DoRA yra požiūris, kuris išplečia modelį naudojant išorines žinias, orientuotas į konkretų domeną.