Wat is DoRA en hoe verschilt het van LoRA?

DoRA (Domein-gerichte Retrieval Augmentation) en LoRA (Low-Rank Adaptation) zijn methoden voor het aanpassen van grote taalmodellen, maar met verschillende benaderingen.

• LoRA is een methode voor het fijn afstellen van het model, waarbij laag-rang matrices worden toegevoegd aan de gewichten van het model, waardoor het model effectief kan worden aangepast zonder alle parameters te wijzigen.

• DoRA is een methode die zich richt op het verbeteren van het model door relevante informatie uit externe bronnen (retrieval) te integreren, gericht op een specifiek domein. Dit stelt het model in staat om actuele gegevens te gebruiken voor het genereren van antwoorden.

Dus, LoRA is een techniek voor parametrische modelaanpassing, en DoRA is een aanpak die het model uitbreidt met externe kennis, gericht op een specifiek gebied.