Šta je LoRA spajanje i kako spojiti više adaptera?

Uskladi LoRA je proces spajanja više LoRA (Low-Rank Adaptation) adaptera, koji su lagani moduli za fino podešavanje velikih jezičkih modela (LLM) sa minimalnim promenama težina.

Svaki LoRA adapter je treniran na specifičnom zadatku ili skupu podataka, a spajanje omogućava kombinovanje znanja iz različitih adaptera u jedan model, bez potrebe za ponovnim treniranjem od nule.

Kako spojiti više adaptera:

1. Dobijanje težina adaptera: Svaki LoRA adapter čuva svoje težine u obliku matrica niskog ranga.
2. Sabiranje težina: Za spajanje težina, njihove matrice se sabiraju uzimajući u obzir koeficijente (težine) koji mogu regulisati doprinos svakog adaptera.
3. Ažuriranje modela: Dobijene spojene težine se integrišu u osnovni model.

Primer pseudokoda:

merged_weights = alpha1 * lora_weights1 + alpha2 * lora_weights2 + ...
model.update_weights(merged_weights)

Gde su alpha1, alpha2 koeficijenti koji utiču na svaki adapter.

Na ovaj način, LoRA spajanje omogućava efikasno kombinovanje znanja iz različitih adaptera, poboljšavajući performanse modela na više zadataka bez potrebe za potpunim ponovnim treniranjem.