Kas yra expert routing ir kokie yra būdai paskirstyti apkrovą tarp ekspertų?

Ekspertų maršrutizavimas yra metodas mašinų mokymosi modelių architektūroje, ypač dideliuose kalbos modeliuose (LLM), kur modelis susideda iš kelių specializuotų "ekspertų" (sub-tinklų ar modulių). Inferencijos ar mokymo metu įvesties duomenys yra nukreipiami tik į tam tikrus ekspertus, kuriuos pasirinko maršrutizavimo mechanizmas, tai leidžia efektyviai naudoti skaičiavimo išteklius ir skalę didinti modelį.

Pagrindiniai būdai subalansuoti apkrovą tarp ekspertų:

1. Top-k maršrutizavimas — kiekvienam įėjimui pasirenkami geriausi k ekspertų pagal kriterijų (pvz., tikimybę ar svorį), ir užklausa siunčiama tik jiems.

2. Našumo balansavimo praradimas — papildomas reguliatorius, kuris skatina tolygų apkrovos paskirstymą tarp ekspertų, siekiant išvengti kai kurių jų perkrovos.

3. Minkštas maršrutizavimas — įvesties paskirstymas tarp ekspertų su svoriais, vietoj griežto pasirinkimo, leidžiant lankstesnį ekspertų naudojimą.

4. Talpos apribojimai — maksimalios užklausų skaičiaus apribojimas, kurį gali apdoroti ekspertas, siekiant išvengti perkrovos.

5. Atsitiktinis maršrutizavimas — atsitiktinis ekspertų pasirinkimas su tam tikra tikimybe apkrovos balansavimui.

Pavyzdys: modelyje Mixture of Experts (MoE), maršrutizatorius gauna įvestį ir apskaičiuoja tikimybes kiekvienam ekspertui, tada pasirenka geriausi k ekspertų apdorojimui, ir prideda praradimą apkrovos balansavimui, kad visi ekspertai būtų naudojami maždaug vienodai.