Τι είναι το LoRA και γιατί λειτουργεί (υπόθεση χαμηλού βαθμού);

LoRA (Low-Rank Adaptation) είναι μια μέθοδος προσαρμογής μικρής κλάσης μεγάλων μοντέλων γλώσσας (LLM), που επιτρέπει την αποτελεσματική προσαρμογή του μοντέλου σε νέες εργασίες με ελάχιστους πόρους.

Η ιδέα βασίζεται στην υπόθεση χαμηλού βαθμού: οι αλλαγές στα βάρη ενός μεγάλου μοντέλου κατά την προσαρμογή μπορούν να προσεγγιστούν από πίνακες χαμηλού βαθμού. Αντί να ενημερώνει όλους τους παραμέτρους του μοντέλου, η LoRA προσθέτει μικρούς πίνακες χαμηλού βαθμού στα υπάρχοντα βάρη, εκπαιδεύοντας μόνο αυτούς.

Αυτό μειώνει σημαντικά τον αριθμό των εκπαιδεύσιμων παραμέτρων και τη μνήμη που απαιτείται για την αποθήκευση του προσαρμοσμένου μοντέλου, διατηρώντας την ποιότητα και την ευελιξία.

Περίπου έτσι λειτουργεί:

# Υποθέτουμε ότι το W είναι ο αρχικός πίνακας βαρών
# Η LoRA προσθέτει δύο πίνακες A και B χαμηλού βαθμού r
# Ενημερωμένα βάρη: W' = W + B @ A

# Κατά τη διάρκεια της εκπαίδευσης, μόνο τα A και B ενημερώνονται, το W παραμένει σταθερό

Έτσι, η LoRA επιτρέπει την ταχεία και αποτελεσματική προσαρμογή μεγάλων μοντέλων χωρίς την ανάγκη πλήρους επανεκπαίδευσης.