Kas ir DoRA un kā tā atšķiras no LoRA?

DoRA (Domeniski orientēta atgūšanas paplašināšana) un LoRA (Zema ranga pielāgošana) ir metodes lielu valodu modeļu pielāgošanai, bet ar dažādiem pieejas veidiem.

• LoRA ir modeļa smalkas regulēšanas metode, kas pievieno zema ranga matricu modeļa svaru, ļaujot efektīvi pielāgot modeli, nemainot visus parametrus.

• DoRA ir metode, kas koncentrējas uz modeļa uzlabošanu, integrējot relevantu informāciju no ārējiem avotiem (retrieval), koncentrējoties uz konkrētu jomu (domeni). Tas ļauj modelim izmantot aktuālus datus atbilžu ģenerēšanai.

Tādējādi, LoRA ir parametriska modeļa pielāgošanas tehnika, bet DoRA ir pieeja, kas paplašina modeli ar ārējām zināšanām, koncentrējoties uz konkrētu jomu.