Was ist DoRA und wie unterscheidet sie sich von LoRA?

DoRA (domänenorientierte Retrieval-Augmentation) und LoRA (Low-Rank Adaptation) sind Methoden zur Anpassung großer Sprachmodelle, aber mit unterschiedlichen Ansätzen.

• LoRA ist eine Methode der Feinabstimmung des Modells, die niedrig-rangige Matrizen zu den Gewichten des Modells hinzufügt, um das Modell effizient anzupassen, ohne alle Parameter zu verändern.

• DoRA ist eine Methode, die sich auf die Verbesserung des Modells durch die Integration relevanter Informationen aus externen Quellen (Retrieval) konzentriert, wobei sie auf einen bestimmten Fachbereich (Domain) ausgerichtet ist. Dies ermöglicht es dem Modell, aktuelle Daten zur Generierung von Antworten zu verwenden.

Daher ist LoRA eine Technik der parametrischen Modellanpassung, während DoRA ein Ansatz ist, der das Modell durch externe Kenntnisse erweitert, die auf einen bestimmten Bereich ausgerichtet sind.