O que é DoRA e como ela difere do LoRA?

DoRA (Aumento de Recuperação Orientada por Domínio) e LoRA (Adaptação de Baixo Rango) são métodos de adaptação de grandes modelos de linguagem, mas com abordagens diferentes.

• LoRA é um método de ajuste fino do modelo, que adiciona matrizes de baixo rank aos pesos do modelo, permitindo adaptar eficazmente o modelo sem alterar todos os parâmetros.

• DoRA é um método que se concentra em melhorar o modelo através da integração de informações relevantes de fontes externas (recuperação), orientando-se por um domínio específico. Isso permite que o modelo utilize dados atuais para gerar respostas.

Assim, LoRA é uma técnica de adaptação paramétrica do modelo, e DoRA é uma abordagem que amplia o modelo através de conhecimentos externos, orientados para uma área específica.