Czym jest LoRA i dlaczego działa (hipoteza niskiego rzędu)?
sobes.tech AI
Odpowiedź od AI
LoRA (Low-Rank Adaptation) to metoda dostrajania dużych modeli językowych (LLM), która pozwala na efektywne dostosowanie modelu do nowych zadań przy minimalnych zasobach.
Pomysł opiera się na hipotezie niskiego rzędu: zmiany wag dużego modelu podczas adaptacji można przybliżyć macierzami niskiego rzędu. Zamiast aktualizować wszystkie parametry modelu, LoRA dodaje małe macierze niskiego rzędu do istniejących wag, ucząc się tylko tych macierzy.
To znacznie zmniejsza liczbę uczonych parametrów i ilość pamięci potrzebnej do przechowywania zaadaptowanego modelu, zachowując jakość i elastyczność dostosowania.
Przybliżenie tego wygląda tak:
# Załóżmy, że W to oryginalna macierz wag
# LoRA dodaje dwie macierze A i B niskiego rzędu r
# Zaktualizowane wagi: W' = W + B @ A
# Podczas treningu tylko A i B są aktualizowane, W pozostaje stałe
W ten sposób LoRA pozwala na szybkie i efektywne dostosowanie dużych modeli bez konieczności pełnego ponownego treningu.