Τι είναι η δρομολόγηση εμπειρογνωμόνων και ποια είναι οι μέθοδοι κατανομής φορτίου μεταξύ εμπειρογνωμόνων;

Ο ειδικός δρομολόγηση είναι μια μέθοδος στην αρχιτεκτονική μοντέλων μηχανικής μάθησης, ιδιαίτερα στα μεγάλα μοντέλα γλώσσας (LLM), όπου το μοντέλο αποτελείται από πολλούς εξειδικευμένους "ειδικούς" (υποδίκτυα ή μονάδες). Κατά τη διάρκεια της πρόβλεψης ή της εκπαίδευσης, τα εισερχόμενα δεδομένα κατευθύνονται μόνο σε συγκεκριμένους ειδικούς που επιλέγονται από έναν μηχανισμό δρομολόγησης, επιτρέποντας την αποδοτική χρήση των υπολογιστικών πόρων και την κλιμάκωση του μοντέλου.

Οι κύριες μέθοδοι για την εξισορρόπηση του φορτίου μεταξύ των ειδικών:

1. Top-k Routing — για κάθε εισαγωγή, επιλέγονται οι καλύτεροι k ειδικοί βάσει ενός κριτηρίου (π.χ., πιθανότητα ή βάρος), και το ερώτημα αποστέλλεται μόνο σε αυτούς.

2. Απώλεια εξισορρόπησης φόρτου — ένας επιπλέον κανονιστής που ενθαρρύνει την ομοιόμορφη κατανομή του φορτίου μεταξύ των ειδικών για την αποφυγή υπερφόρτωσης ορισμένων από αυτούς.

3. Soft Routing — κατανομή της εισόδου μεταξύ των ειδικών με βάρη, αντί για αυστηρή επιλογή, που επιτρέπει πιο ευέλικτη χρήση των ειδικών.

4. Περιορισμοί χωρητικότητας — περιορισμός στον μέγιστο αριθμό αιτημάτων που μπορεί να επεξεργαστεί ένας ειδικός, για την αποφυγή υπερφόρτωσης.

5. Τυχαία δρομολόγηση — τυχαία επιλογή ειδικών με μια ορισμένη πιθανότητα για την εξισορρόπηση του φορτίου.

Παράδειγμα: στο μοντέλο Mixture of Experts (MoE), ο δρομολογητής λαμβάνει την εισαγωγή και υπολογίζει τις πιθανότητες για κάθε ειδικό, στη συνέχεια επιλέγει τους καλύτερους k ειδικούς για επεξεργασία, προσθέτοντας μια απώλεια για την εξισορρόπηση του φορτίου, έτσι ώστε όλοι οι ειδικοί να χρησιμοποιούνται περίπου ομοιόμορφα.