Was ist Expert Routing und welche Methoden der Lastverteilung zwischen Experten gibt es?

Expertenrouting ist eine Methode in der Architektur von maschinellen Lernmodellen, insbesondere bei großen Sprachmodellen (LLM), bei denen das Modell aus mehreren spezialisierten "Experten" (Sub-Netzwerken oder Modulen) besteht. Während der Inferenz oder des Trainings werden die Eingabedaten nur an bestimmte Experten geleitet, die durch einen Routing-Mechanismus ausgewählt werden, was eine effiziente Nutzung der Rechenressourcen und die Skalierung des Modells ermöglicht.

Die wichtigsten Methoden zur Lastenverteilung zwischen Experten:

1. Top-k Routing — Für jeden Eingang werden die k besten Experten nach einem Kriterium (z.B. Wahrscheinlichkeit oder Gewicht) ausgewählt, und die Anfrage wird nur an sie gesendet.

2. Load Balancing Loss — Ein zusätzlicher Regularizer, der eine gleichmäßige Verteilung der Last zwischen den Experten fördert, um eine Überlastung einiger Experten zu vermeiden.

3. Soft Routing — Verteilung des Eingangs zwischen Experten mit Gewichten, anstatt eine harte Auswahl, was eine flexiblere Nutzung der Experten ermöglicht.

4. Kapazitätsbeschränkungen — Begrenzung der maximalen Anzahl an Anfragen, die ein Experte verarbeiten kann, um Überlastung zu vermeiden.

5. Zufälliges Routing — Zufällige Auswahl von Experten mit einer bestimmten Wahrscheinlichkeit, um die Last auszugleichen.

Beispiel: Im Modell Mixture of Experts (MoE) erhält der Router den Eingang und berechnet die Wahrscheinlichkeiten für jeden Experten, wählt dann die Top-k Experten zur Verarbeitung aus und fügt eine Verlustfunktion hinzu, um die Last auszugleichen, sodass alle Experten ungefähr gleichmäßig genutzt werden.