Роутинги мутахассисон чист ва кадом усулҳои баробарсозии бор байни мутахассисон мавҷуданд?

Маслиҳатгирии мутахассисон — ин усул дар меъмории моделҳои омӯзиши мошин, махсусан дар моделҳои бузурги забон (LLM), ки дар он модел аз чандин "мутахассис" (под-шаҳрҳо ё модулҳо) иборат аст. Дар вақти инференсия ё омӯзиш, маълумоти воридотӣ танҳо ба баъзе мутахассисон, ки механизми маслиҳатгирӣ интихоб мекунад, равона карда мешаванд, ки ин имкон медиҳад истифодаи самараноки захираҳои ҳисоббарориро ва масштабкунии моделро.

Асосӣ усулҳо барои баробар кардани бор дар байни мутахассисон:

1. Top-k Routing — барои ҳар воридот, беҳтарин k мутахассисро мувофиқи меъёр (масалан, эҳтимолият ё вазн) интихоб мекунанд, ва дархост танҳо ба онҳо фиристода мешавад.

2. Заҳр барои баробар кардани бор — як регулятор иловагӣ, ки тақвият медиҳад тақсимоти баробаронаи бор байни мутахассисон, то аз борбардории баъзеи онҳо пешгирӣ шавад.

3. Маслиҳатгирии нарм — тақсимоти воридот байни мутахассисон бо вазнҳо, ба ҷои интихоби қатъӣ, ки имкон медиҳад истифодаи бештар флексибл аз мутахассисон.

4. Маҳдудиятҳои қобилият — маҳдуд кардани шумораи максималии дархостҳо, ки мутахассис метавонад коркард кунад, барои пешгирии борбардорӣ.

5. Маслиҳатгирии тасодуфӣ — интихоби тасодуфии мутахассисон бо эҳтимолият муайян барои баробар кардани бор.

Масалан: дар модели Mixture of Experts (MoE), маслиҳатгир қабул мекунад воридотро ва эҳтимолиятҳоро барои ҳар мутахассис ҳисоб мекунад, сипас беҳтарин k мутахассисро барои коркард интихоб мекунад ва зиёнро барои баробар кардани бор илова мекунад, то ки ҳама мутахассисон тақрибан баробар истифода шаванд.