Mi az a DoRA és miben különbözik a LoRA-tól?

A DoRA (Domain-oriented Retrieval Augmentation) és a LoRA (Low-Rank Adaptation) nagy nyelvi modellek adaptálásának módszerei, de különböző megközelítésekkel.

• A LoRA egy finomhangolási módszer, amely alacsony rangú mátrixokat ad hozzá a modell súlyaihoz, lehetővé téve a modell hatékony adaptálását anélkül, hogy az összes paramétert módosítaná.

• A DoRA egy olyan módszer, amely a modell fejlesztésére összpontosít a releváns információk külső forrásokból történő integrálásával (retrieval), egy adott terület (domaine) irányába. Ez lehetővé teszi a modell számára, hogy aktuális adatokat használjon válaszok generálásához.

Ezért a LoRA a paraméteres modelladaptáció technikája, míg a DoRA egy olyan megközelítés, amely külső tudás révén bővíti a modellt, egy adott területre fókuszálva.