Qu'est-ce que DoRA et en quoi diffère de LoRA?

DoRA (Retrieval Augmentation Orientée Domaine) et LoRA (Low-Rank Adaptation) sont des méthodes d'adaptation de grands modèles linguistiques, mais avec des approches différentes.

• LoRA est une méthode de fine-tuning du modèle, qui ajoute des matrices de rang faible aux poids du modèle, permettant d'adapter efficacement le modèle sans modifier tous les paramètres.

• DoRA est une méthode qui se concentre sur l'amélioration du modèle par l'intégration d'informations pertinentes provenant de sources externes (récupération), en se concentrant sur un domaine spécifique. Cela permet au modèle d'utiliser des données actuelles pour générer des réponses.

Ainsi, LoRA est une technique d'adaptation paramétrique du modèle, et DoRA est une approche qui étend le modèle grâce à des connaissances externes, orientées vers un domaine précis.