Wat is expert routing en welke methoden voor load balancing tussen experts zijn er?

Expert routing is een methode in de architectuur van machine learning-modellen, vooral in grote taalmodellen (LLM), waarbij het model bestaat uit meerdere gespecialiseerde "experts" (sub-netwerken of modules). Tijdens inferentie of training worden de invoergegevens alleen naar bepaalde experts gestuurd die door een routeringsmechanisme worden geselecteerd, wat een efficiënte benutting van rekenbronnen en schaalbaarheid van het model mogelijk maakt.

De belangrijkste methoden voor het balanceren van de belasting tussen experts:

1. Top-k Routing — voor elke invoer worden de k beste experts geselecteerd op basis van een criterium (bijvoorbeeld waarschijnlijkheid of gewicht), en de aanvraag wordt alleen naar hen gestuurd.

2. Load Balancing Loss — een extra regularisator die een gelijkmatige verdeling van de belasting tussen experts bevordert om overbelasting van sommige experts te voorkomen.

3. Soft Routing — verdeling van de invoer tussen experts met gewichten, in plaats van een harde selectie, wat een flexibelere inzet van experts mogelijk maakt.

4. Capaciteitsbeperkingen — beperking van het maximale aantal verzoeken dat een expert kan verwerken om overbelasting te voorkomen.

5. Gerandomiseerd Routing — willekeurige selectie van experts met een bepaalde waarschijnlijkheid om de belasting te balanceren.

Voorbeeld: in het model Mixture of Experts (MoE) ontvangt de router de invoer en berekent de waarschijnlijkheden voor elke expert, selecteert vervolgens de top-k experts voor verwerking, en voegt een verlies toe om de belasting te balanceren, zodat alle experts ongeveer gelijk worden gebruikt.