Ce este îmbinarea LoRA și cum se combină mai mulți adaptori?

Fuziunea LoRA este un proces de combinare a mai multor adaptoare LoRA (Low-Rank Adaptation), care sunt module ușoare pentru ajustarea modelelor mari de limbaj (LLM) cu modificări minime ale greutăților.

Fiecare adaptor LoRA este antrenat pentru o anumită sarcină sau set de date, iar fuziunea permite combinarea cunoștințelor din diferiți adaptoare într-un singur model, fără a fi nevoie să îl reantrenezi de la zero.

Cum se combină mai mulți adaptoare:

1. Obțineți greutățile adaptoarelor: Fiecare adaptor LoRA stochează greutățile sale sub formă de matrici de rang scăzut.
2. Sumarea greutăților: Pentru a combina greutățile, matricile lor sunt adunate ținând cont de coeficienți (greutăți) care pot regla contribuția fiecărui adaptor.
3. Actualizarea modelului: Greutățile combinate rezultate sunt integrate în modelul de bază.

Exemplu de pseudocod:

merged_weights = alpha1 * lora_weights1 + alpha2 * lora_weights2 + ...
model.update_weights(merged_weights)

Unde alpha1, alpha2 sunt coeficienți care influențează fiecare adaptor.

Astfel, fuziunea LoRA permite combinarea eficientă a cunoștințelor din diferiți adaptoare, îmbunătățind performanța modelului pe mai multe sarcini fără a fi nevoie de un reantrenament complet.