¿Qué es DoRA y en qué se diferencia de LoRA?

DoRA (Retrieval Augmentation Orientada a Dominios) y LoRA (Adaptación de Bajo Rango) son métodos de adaptación de grandes modelos de lenguaje, pero con enfoques diferentes.

• LoRA es un método de ajuste fino del modelo, que añade matrices de bajo rango a los pesos del modelo, permitiendo adaptar eficazmente el modelo sin modificar todos los parámetros.

• DoRA es un método que se centra en mejorar el modelo mediante la integración de información relevante de fuentes externas (recuperación), orientándose a un dominio específico. Esto permite que el modelo utilice datos actuales para generar respuestas.

Por lo tanto, LoRA es una técnica de adaptación paramétrica del modelo, y DoRA es un enfoque que amplía el modelo mediante conocimientos externos, orientados a un área concreta.