Čo je expert routing a aké metódy vyvažovania záťaže medzi expertmi existujú?

Expertné smerovanie je metóda v architektúre modelov strojového učenia, najmä v veľkých jazykových modeloch (LLM), kde model pozostáva z viacerých špecializovaných "expertov" (pod-sietí alebo modulov). Počas inferencie alebo tréningu sú vstupné údaje smerované iba k určitým expertom, ktorých vyberá mechanizmus smerovania, čo umožňuje efektívne využívanie výpočtových zdrojov a škálovanie modelu.

Hlavné metódy na vyváženie záťaže medzi expertmi:

1. Top-k smerovanie — pre každý vstup sú vybraní najlepší k expertov podľa kritéria (napríklad pravdepodobnosti alebo váhy), a požiadavka je odoslaná iba na nich.

2. Strata vyváženia záťaže — dodatočný regulátor, ktorý podporuje rovnomerné rozdelenie záťaže medzi expertmi, aby sa predišlo preťaženiu niektorých z nich.

3. Mäkké smerovanie — rozdelenie vstupu medzi expertov s váhami, namiesto pevného výberu, čo umožňuje flexibilnejšie využívanie expertov.

4. Obmedzenia kapacity — obmedzenie maximálneho počtu požiadaviek, ktoré môže expert spracovať, aby sa predišlo preťaženiu.

5. Náhodné smerovanie — náhodný výber expertov s určitým pravdepodobnosťou na vyváženie záťaže.

Príklad: v modeli Mixture of Experts (MoE) router prijíma vstup a vypočíta pravdepodobnosti pre každého experta, potom vyberie top-k expertov na spracovanie a pridá stratu na vyváženie záťaže, aby všetci experti boli využívaní približne rovnomerne.