Wat is LoRA-merging en hoe combineer je meerdere adapters?

LoRA-merge is een proces waarbij meerdere LoRA (Low-Rank Adaptation) adapters worden samengevoegd, die lichte modules zijn voor het finetunen van grote taalmodellen (LLM) met minimale gewichtsaanpassingen.

Elke LoRA-adapter wordt getraind op een specifieke taak of dataset, en de samenvoeging maakt het mogelijk om kennis van verschillende adapters te combineren in één model, zonder het helemaal opnieuw te trainen.

Hoe meerdere adapters te combineren:

1. Verkrijg de gewichten van de adapters: Elke LoRA-adapter slaat zijn gewichten op in de vorm van laag-rang matrices.
2. Optellen van de gewichten: Om de gewichten te combineren, worden hun matrices opgeteld met inachtneming van coëfficiënten (gewichten) die de bijdrage van elke adapter kunnen reguleren.
3. Model bijwerken: De gecombineerde gewichten worden geïntegreerd in het basismodel.

Voorbeeld pseudocode:

merged_weights = alpha1 * lora_weights1 + alpha2 * lora_weights2 + ...
model.update_weights(merged_weights)

Waar alpha1, alpha2 coëfficiënten zijn die de invloed van elke adapter bepalen.

Op deze manier maakt LoRA-merge het mogelijk om kennis van verschillende adapters efficiënt te combineren en de prestaties van het model op meerdere taken te verbeteren zonder volledige hertraining.