Expert routing деген эмне жана эксперттер ортосунда жүктү теңдөө үчүн кандай ыкмалар бар?

Мамлекеттик маршруттоо — бул машиналык үйрөнүү моделдеринин архитектурасында колдонулган ыкма, өзгөчө чоң тил моделдеринде (LLM), анда модель көптөгөн адистерден (под-торлор же модулдар) турат. Инференция же машыктырууда кирүү маалыматтары гана белгилүү бир адистерге, маршруттоо механизми тарабынан тандалган, жөнөтүлөт, бул эсептөө ресурстарын эффективдүү колдонууга жана моделдин масштабын кеңейтүүгө мүмкүндүк берет.

Адистер арасында жүктү тең салмакташтыруу үчүн негизги ыкмалар:

1. Top-k маршруттоо — ар бир кирүү үчүн, белгилүү бир критерий (мисалы, ыктымалдык же салмак) боюнча эң жакшы k адис тандалат, жана суроо only аларга жөнөтүлөт.

2. Жүктү тең салмакташтыруу жоготуусу — кошумча регулятор, ал адистердин арасында жүктүн бирдей бөлүштүрүлүшүн илгертет, кээ бир адистердин ашыкча жүктөлүшүн алдын алуу үчүн.

3. Жумшак маршруттоо — кирүүнү адистер арасында салмактар менен бөлүштүрүү, катуу тандоо эмес, бул адистердин көбүрөөк ийкемдүү колдонулушун камсыздайт.

4. Капаситет чектөөлөрү — адис иштеткен максималдуу суроолордун санын чектөө, ашыкча жүктөөнү алдын алуу үчүн.

5. Тасодуфтуу маршруттоо — жүктү тең салмакташтыруу үчүн адистерди белгилүү бир ыктымалдык менен тасодуфтуу тандоо.

Мисал: Миксурация оф Экспертс (MoE) моделинде, маршрутизатор кирүүнү кабыл алат жана ар бир эксперт үчүн ыктымалдуулуктарды эсептейт, андан соң иштетүү үчүн эң жакшы k экспертти тандоодо, жүктү тең салмакташтыруу үчүн жоготууну кошот, ошентип бардык эксперттер болжол менен бирдей колдонулат.