Co je to DoRA a čím se liší od LoRA?

DoRA (Doménově orientované rozšíření získávání) a LoRA (Nízkohodnotá adaptace) jsou metody přizpůsobení velkých jazykových modelů, ale s různými přístupy.

• LoRA je metoda jemného doladění modelu, která přidává nízkorangové matice k váhám modelu, což umožňuje efektivně přizpůsobit model bez změny všech parametrů.

• DoRA je metoda, která se zaměřuje na zlepšení modelu integrací relevantních informací z externích zdrojů (retrieval), zaměřená na konkrétní oblast (doménu). To umožňuje modelu používat aktuální data k generování odpovědí.

Proto je LoRA technikou parametrické adaptace modelu, zatímco DoRA je přístup, který rozšiřuje model pomocí externích znalostí, zaměřených na konkrétní oblast.