Τι είναι το DoRA και πώς διαφέρει από το LoRA;

Το DoRA (Εξατομικευμένη Ανάκτηση με Προσανατολισμό στον Τομέα) και το LoRA (Χαμηλού Τάξης Προσαρμογή) είναι μέθοδοι προσαρμογής μεγάλων γλωσσικών μοντέλων, αλλά με διαφορετικές προσεγγίσεις.

• Το LoRA είναι μια μέθοδος λεπτομερούς ρύθμισης του μοντέλου, που προσθέτει χαμηλής τάξης μήτρες στα βάρη του μοντέλου, επιτρέποντας την αποτελεσματική προσαρμογή του μοντέλου χωρίς την αλλαγή όλων των παραμέτρων.

• Το DoRA είναι μια μέθοδος που εστιάζει στη βελτίωση του μοντέλου μέσω της ενσωμάτωσης σχετικών πληροφοριών από εξωτερικές πηγές (ανάκτηση), εστιάζοντας σε έναν συγκεκριμένο τομέα. Αυτό επιτρέπει στο μοντέλο να χρησιμοποιεί τρέχοντα δεδομένα για τη δημιουργία απαντήσεων.

Επομένως, το LoRA είναι μια τεχνική παραμετρικής προσαρμογής του μοντέλου, και το DoRA είναι μια προσέγγιση που επεκτείνει το μοντέλο μέσω εξωτερικών γνώσεων, εστιάζοντας σε έναν συγκεκριμένο τομέα.