¿Qué es el enrutamiento experto y qué métodos de balanceo de carga entre expertos existen?

El enrutamiento experto es un método en la arquitectura de modelos de aprendizaje automático, especialmente en modelos de lenguaje grandes (LLM), donde el modelo consta de múltiples "expertos" especializados (subredes o módulos). Durante la inferencia o el entrenamiento, los datos de entrada se dirigen solo a ciertos expertos seleccionados por un mecanismo de enrutamiento, lo que permite utilizar eficientemente los recursos computacionales y escalar el modelo.

Los métodos principales para equilibrar la carga entre expertos:

1. Enrutamiento Top-k — para cada entrada se seleccionan los k mejores expertos según un criterio (por ejemplo, probabilidad o peso), y la consulta se envía solo a ellos.

2. Pérdida de balance de carga — un regularizador adicional que fomenta una distribución uniforme de la carga entre los expertos para evitar sobrecargar algunos de ellos.

3. Enrutamiento suave — distribución de la entrada entre expertos con pesos, en lugar de una selección rígida, lo que permite un uso más flexible de los expertos.

4. Restricciones de capacidad — limitación en la cantidad máxima de solicitudes que un experto puede procesar para evitar sobrecargas.

5. Enrutamiento aleatorio — selección aleatoria de expertos con cierta probabilidad para equilibrar la carga.

Ejemplo: en el modelo Mixture of Experts (MoE), el enrutador recibe la entrada y calcula las probabilidades para cada experto, luego selecciona los top-k expertos para procesar, añadiendo una pérdida para equilibrar la carga, de modo que todos los expertos se utilicen aproximadamente de manera uniforme.