O que é a fusão LoRA e como fundir vários adaptadores?

A fusão LoRA é um processo de combinar vários adaptadores LoRA (Low-Rank Adaptation), que são módulos leves para ajustar grandes modelos de linguagem (LLM) com alterações mínimas nos pesos.

Cada adaptador LoRA é treinado numa tarefa ou conjunto de dados específico, e a fusão permite combinar conhecimentos de diferentes adaptadores num único modelo, sem precisar treiná-lo do zero.

Como fundir vários adaptadores:

1. Obter os pesos dos adaptadores: Cada adaptador LoRA armazena seus pesos na forma de matrizes de baixo rank.
2. Somar os pesos: Para fundir os pesos, as suas matrizes são somadas considerando coeficientes (pesos) que podem regular a contribuição de cada adaptador.
3. Atualizar o modelo: Os pesos combinados resultantes são integrados no modelo base.

Exemplo de pseudocódigo:

merged_weights = alpha1 * lora_weights1 + alpha2 * lora_weights2 + ...
model.update_weights(merged_weights)

Onde alpha1, alpha2 são coeficientes que influenciam cada adaptador.

Desta forma, a fusão LoRA permite combinar eficazmente conhecimentos de diferentes adaptadores, melhorando o desempenho do modelo em várias tarefas sem necessidade de um re-treinamento completo.