Cos'è DoRA e come si differenzia da LoRA?

DoRA (Integrazione di Recupero Orientata al Dominio) e LoRA (Adattamento a Basso Rango) sono metodi di adattamento di grandi modelli linguistici, ma con approcci diversi.

• LoRA è un metodo di fine-tuning del modello, che aggiunge matrici a basso rango ai pesi del modello, consentendo di adattare efficacemente il modello senza modificare tutti i parametri.

• DoRA è un metodo che si concentra sul miglioramento del modello attraverso l'integrazione di informazioni rilevanti da fonti esterne (recupero), orientandosi a un dominio specifico. Questo permette al modello di utilizzare dati attuali per generare risposte.

Pertanto, LoRA è una tecnica di adattamento parametrico del modello, mentre DoRA è un approccio che amplia il modello attraverso conoscenze esterne, orientate a un'area specifica.