¿Qué es la fusión de LoRA y cómo fusionar varios adaptadores?

La fusión de LoRA es un proceso de combinar varios adaptadores LoRA (Low-Rank Adaptation), que son módulos ligeros para ajustar modelos de lenguaje grandes (LLM) con cambios mínimos en los pesos.

Cada adaptador LoRA se entrena en una tarea o conjunto de datos específico, y la fusión permite combinar conocimientos de diferentes adaptadores en un solo modelo, sin necesidad de volver a entrenarlo desde cero.

Cómo fusionar varios adaptadores:

1. Obtener los pesos de los adaptadores: Cada adaptador LoRA almacena sus pesos en forma de matrices de bajo rango.
2. Sumar los pesos: Para fusionar los pesos, sus matrices se suman considerando coeficientes (pesos) que pueden regular la contribución de cada adaptador.
3. Actualizar el modelo: Los pesos combinados resultantes se integran en el modelo base.

Ejemplo de pseudocódigo:

merged_weights = alpha1 * lora_weights1 + alpha2 * lora_weights2 + ...
model.update_weights(merged_weights)

Donde alpha1, alpha2 son coeficientes que influyen en cada adaptador.

De esta manera, la fusión de LoRA permite combinar eficazmente conocimientos de diferentes adaptadores, mejorando el rendimiento del modelo en varias tareas sin necesidad de un reentrenamiento completo.