Wat is de Mixture of Experts (MoE) en wat zijn de voor- en nadelen?

Mixture of Experts (MoE) is een architectuur van neurale netwerken die bestaat uit meerdere gespecialiseerde modellen (experts) en een routeringsmechanisme (poort) dat bepaalt welke experts geactiveerd worden voor het verwerken van een specifieke invoer. Het idee is dat elke expert getraind wordt op een deel van de taak, en de poort de berekeningen dynamisch verdeelt, waardoor modellen opgeschaald kunnen worden zonder een evenredige toename in rekenkosten.

Voordelen:

• Efficiëntie: Zeer grote modellen kunnen gebruikt worden door slechts een deel van de experts voor elk verzoek te activeren, wat de rekenbelasting vermindert.
• Specialisatie: Experts kunnen zich specialiseren in verschillende aspecten van de data, wat de kwaliteit verbetert.
• Schaalbaarheid: Het is eenvoudig om nieuwe experts toe te voegen zonder het hele model opnieuw te trainen.

Nadelen:

• Trainingscomplexiteit: Het is moeilijk om de poort effectief te trainen zodat deze verzoeken correct verdeelt.
• Onevenwichtige belasting: Sommige experts kunnen overbelast raken, anderen blijven ongebruikt.
• Generaliseringsproblemen: Als de poort fouten maakt, kan de kwaliteit afnemen.

Voorbeeld van een vereenvoudigd schema in pseudocode:

experts = [Expert1(), Expert2(), Expert3()]
poort = GateNetwork()

input = get_input()
gewichten = poort(input)  # kansen voor elke expert
output = sum(w * expert(input) for w, expert in zip(gewichten, experts))

In moderne LLM's helpt MoE bij het creëren van zeer grote modellen met minder resource-kosten.