Kas ir expert routing un kādas ir metodes, kā sadalīt slodzi starp ekspertiem?

Ekspertu maršrutēšana ir metode mašīnmācīšanās modeļu arhitektūrā, īpaši lielajos valodu modeļos (LLM), kur modelis sastāv no vairākiem specializētiem "ekspertu" (apakš-tīkliem vai moduļiem). Inferencē vai apmācībā ievades dati tiek virzīti tikai uz noteiktiem ekspertiem, kurus izvēlas maršrutēšanas mehānisms, kas ļauj efektīvi izmantot skaitļošanas resursus un mērogot modeli.

Galvenās metodes slodzes līdzsvarošanai starp ekspertiem:

1. Top-k maršrutēšana — katram ievadam tiek izvēlēti labākie k eksperti pēc kritērija (piemēram, varbūtības vai svara), un pieprasījums tiek nosūtīts tikai tiem.

2. Slodzes līdzsvara zaudējums — papildu regulators, kas veicina vienmērīgu slodzes sadalījumu starp ekspertiem, lai izvairītos no dažādu ekspertu pārlādēšanas.

3. Mīksta maršrutēšana — ievades sadalīšana starp ekspertu ar svaru palīdzību, nevis stingra izvēle, kas ļauj elastīgāk izmantot ekspertus.

4. Kapacitātes ierobežojumi — maksimālā pieprasījumu skaita ierobežojums, ko eksperts var apstrādāt, lai izvairītos no pārlādēšanas.

5. Nejauša maršrutēšana — nejauša ekspertu izvēle ar noteiktu varbūtību slodzes līdzsvarošanai.

Piemērs: modelī Mixture of Experts (MoE), maršrutētājs saņem ievadi un aprēķina katra eksperta varbūtības, pēc tam izvēlas labākos k ekspertus apstrādei, pievienojot zaudējumu slodzes līdzsvarošanai, lai visi eksperti būtu izmantoti aptuveni vienādi.