Ce este DoRA și în ce se deosebește de LoRA?

DoRA (Augmentare de Recuperare Orientată pe Domeniu) și LoRA (Adaptare de Rang Scăzut) sunt metode de adaptare a modelelor mari de limbaj, dar cu abordări diferite.

• LoRA este o metodă de ajustare fină a modelului, care adaugă matrici de rang scăzut la greutățile modelului, permițând adaptarea eficientă a modelului fără a modifica toți parametrii.

• DoRA este o metodă care se concentrează pe îmbunătățirea modelului prin integrarea informațiilor relevante din surse externe (recuperare), orientată spre un domeniu specific. Acest lucru permite modelului să utilizeze date actuale pentru generarea răspunsurilor.

Prin urmare, LoRA este o tehnică de adaptare parametrică a modelului, iar DoRA este o abordare care extinde modelul prin cunoștințe externe, orientate spre un domeniu specific.