O que é roteamento de especialistas e quais os métodos de balanceamento de carga entre especialistas existem?

O roteamento especializado é um método na arquitetura de modelos de aprendizagem automática, especialmente em grandes modelos de linguagem (LLM), onde o modelo consiste em múltiplos "especialistas" especializados (sub-redes ou módulos). Durante a inferência ou o treino, os dados de entrada são direcionados apenas a certos especialistas selecionados por um mecanismo de roteamento, o que permite usar eficientemente os recursos computacionais e escalar o modelo.

Os principais métodos para equilibrar a carga entre especialistas:

1. Roteamento Top-k — para cada entrada, os k melhores especialistas são selecionados com base em um critério (por exemplo, probabilidade ou peso), e a consulta é enviada apenas a eles.

2. Perda de balanceamento de carga — um regularizador adicional que incentiva uma distribuição uniforme da carga entre os especialistas para evitar sobrecarga de alguns deles.

3. Roteamento suave — distribuição da entrada entre especialistas com pesos, em vez de uma seleção rígida, permitindo uma utilização mais flexível dos especialistas.

4. Restrições de capacidade — limitação no número máximo de solicitações que um especialista pode processar para evitar sobrecarga.

5. Roteamento aleatório — seleção aleatória de especialistas com alguma probabilidade para equilibrar a carga.

Exemplo: no modelo Mixture of Experts (MoE), o roteador recebe a entrada e calcula as probabilidades para cada especialista, depois seleciona os top-k especialistas para processar, adicionando uma perda para equilibrar a carga, de modo que todos os especialistas sejam utilizados aproximadamente de forma uniforme.