Ekspert yönləndirməsi nədir və ekspertlər arasında yük balanslaşdırma metodları hansılardır?

Ekspert marşrutlaşdırması, maşın öyrənmə modellərinin memarlığında istifadə olunan bir metod olub, xüsusən böyük dil modellərində (LLM), burada model çox sayda ixtisaslaşmış "mütəxəssis" (alt şəbəkələr və ya modullar) təşkil edir. İnferensiya və ya təlim zamanı giriş məlumatları yalnız marşrutlaşdırıcı (routing mexanizmi) tərəfindən seçilmiş müəyyən mütəxəssislərə yönəldilir, bu da hesablama resurslarından səmərəli istifadə və modelin miqyasını artırmağa imkan verir.

Mütəxəssislər arasında yük balansını təmin etmək üçün əsas metodlar:

1. Top-k Routing — hər giriş üçün, müəyyən meyar (məsələn, ehtimal və ya çəki) əsasında ən yaxşı k mütəxəssis seçilir və sorğu yalnız onlara göndərilir.

2. Yük balanslaşdırma itkisi — əlavə tənzimləyici, bu, mütəxəssislər arasında yükün bərabər paylanmasını təşviq edir və bəzi mütəxəssislərin yüklənməsinin qarşısını alır.

3. Yumşaq Routing — girişin mütəxəssislər arasında çəki ilə paylanması, sərt seçim yerinə, bu da mütəxəssislərin daha çevik istifadəsinə imkan verir.

4. Həcmi məhdudiyyətləri — mütəxəssisin işləyə biləcəyi maksimum sorğu sayı ilə məhdudlaşdırma, yüklənmənin qarşısını almaq üçün.

5. Təsadüfi Routing — yükü balanslaşdırmaq üçün mütəxəssislərin müəyyən ehtimolla təsadüfi seçilməsi.

Nümunə: Mixture of Experts (MoE) modelində, marşrutlaşdırıcı giriş alır və hər bir mütəxəssis üçün ehtimalları hesablayır, sonra işləmə üçün ən yaxşı k mütəxəssis seçir və yükü balanslaşdırmaq üçün itkini əlavə edir, beləliklə bütün mütəxəssislər təxminən bərabər şəkildə istifadə olunur.