Czym jest DoRA i czym różni się od LoRA?

DoRA (Orientowane na domenę uzupełnianie pobierania) i LoRA (Adaptacja niskiego rzędu) to metody adaptacji dużych modeli językowych, ale z różnymi podejściami.

• LoRA to metoda dostrajania modelu, która dodaje macierze niskiego rzędu do wag modelu, umożliwiając skuteczną adaptację modelu bez zmiany wszystkich parametrów.

• DoRA to metoda skupiająca się na ulepszaniu modelu poprzez integrację istotnych informacji z zewnętrznych źródeł (wyszukiwanie), koncentrując się na konkretnym obszarze (domenie). Pozwala to modelowi korzystać z aktualnych danych do generowania odpowiedzi.

W związku z tym, LoRA to technika parametrycznej adaptacji modelu, a DoRA to podejście rozszerzające model o zewnętrzną wiedzę, skoncentrowaną na określonym obszarze.