Co je to expert routing a jaké metody vyvažování zátěže mezi experty existují?

Expertní směrování je metoda v architektuře modelů strojového učení, zejména u velkých jazykových modelů (LLM), kde model sestává z několika specializovaných "expertů" (pod sítí nebo modulů). Během inference nebo tréninku jsou vstupní data směrována pouze k určitým expertům, které vybírá mechanismus směrování, což umožňuje efektivní využití výpočetních zdrojů a škálování modelu.

Hlavní metody vyvažování zátěže mezi experty:

1. Top-k směrování — pro každý vstup jsou vybráni nejlepší k expertů podle kritéria (například pravděpodobnosti nebo váhy), a požadavek je směrován pouze na ně.

2. Ztráta vyvažování zátěže — dodatečný regulátor, který podporuje rovnoměrné rozdělení zátěže mezi experty, aby se zabránilo přetížení některých z nich.

3. Měkké směrování — rozdělení vstupu mezi experty s váhami, namísto pevného výběru, což umožňuje flexibilnější využití expertů.

4. Omezení kapacity — omezení maximálního počtu požadavků, které může expert zpracovat, aby se zabránilo přetížení.

5. Náhodné směrování — náhodný výběr expertů s určitou pravděpodobností pro vyvážení zátěže.

Příklad: v modelu Mixture of Experts (MoE) přijímá směrovač vstup a vypočítá pravděpodobnosti pro každého experta, poté vybere top-k expertů ke zpracování a přidá ztrátu pro vyvážení zátěže, aby všichni experti byli využíváni přibližně rovnoměrně.