Čo je to LoRA merging a ako zlúčiť niekoľko adaptérů?

Zlúčenie LoRA je proces spájania viacerých LoRA (Low-Rank Adaptation) adaptérů, ktoré sú ľahké moduly na doladenie veľkých jazykových modelov (LLM) s minimálnymi zmenami váh.

Každý adaptér LoRA je trénovaný na konkrétnu úlohu alebo dátový súbor a zlúčenie umožňuje kombinovať znalosti z rôznych adaptérů do jedného modelu, bez nutnosti ho znovu trénovať od začiatku.

Ako zlúčiť viacero adaptérů:

1. Získať váhy adaptérů: Každý adaptér LoRA uchováva svoje váhy vo forme nízkorangových matíc.
2. Sčítanie váh: Na zlúčenie váh sa ich matice sčítajú s ohľadom na koeficienty (váhy), ktoré môžu regulovať príspevok každého adaptéra.
3. Aktualizácia modelu: Získané zlúčené váhy sa integrujú do základného modelu.

Príklad pseudokódu:

merged_weights = alpha1 * lora_weights1 + alpha2 * lora_weights2 + ...
model.update_weights(merged_weights)

Kde alpha1, alpha2 sú koeficienty, ktoré ovplyvňujú každý adaptér.

Týmto spôsobom umožňuje zlúčenie LoRA efektívne kombinovať znalosti z rôznych adaptérů a zlepšovať výkon modelu na viacerých úlohách bez potreby úplného preškolenia.