Was ist LoRA und warum funktioniert sie (niedrige Rang-Hypothese)?

LoRA (Low-Rank Adaptation) ist eine Methode zur Feinabstimmung großer Sprachmodelle (LLM), die es ermöglicht, das Modell effizient an neue Aufgaben anzupassen, bei minimalem Ressourcenaufwand.

Die Idee basiert auf der Low-Rank-Hypothese: Die Änderungen der Gewichte eines großen Modells bei der Anpassung können durch Matrizen niedrigen Rangs approximiert werden. Anstatt alle Parameter des Modells zu aktualisieren, fügt LoRA kleine Matrizen niedrigen Rangs zu den bestehenden Gewichten hinzu und trainiert nur diese.

Dies reduziert die Anzahl der trainierbaren Parameter und den Speicherbedarf für das gespeicherte Modell erheblich, während die Qualität und Flexibilität der Anpassung erhalten bleibt.

So funktioniert es ungefähr:

# Angenommen, W ist die ursprüngliche Gewichtsmatrix
# LoRA fügt zwei Matrizen A und B niedrigen Rangs r hinzu
# Aktualisierte Gewichte: W' = W + B @ A

# Während des Trainings werden nur A und B aktualisiert, W bleibt fix

Auf diese Weise ermöglicht LoRA eine schnelle und effiziente Anpassung großer Modelle, ohne dass ein vollständiges Retraining erforderlich ist.