O que é a Mistura de Especialistas (MoE) e quais são as suas vantagens e desvantagens?

Mixture of Experts (MoE) é uma arquitetura de redes neurais que consiste em múltiplos modelos especializados (especialistas) e um mecanismo de roteamento (porta) que escolhe quais especialistas ativar para processar uma entrada específica. A ideia é que cada especialista seja treinado numa parte da tarefa, e a porta distribua dinamicamente os cálculos, permitindo escalar os modelos sem um aumento proporcional nos custos computacionais.

Vantagens:

• Eficiência: Pode-se usar modelos muito grandes ativando apenas uma parte dos especialistas para cada pedido, o que reduz a carga computacional.
• Especialização: Os especialistas podem especializar-se em diferentes aspetos dos dados, melhorando a qualidade.
• Escalabilidade: É fácil adicionar novos especialistas sem re-treinar tudo.

Desvantagens:

• Complexidade de treino: É difícil treinar a porta de forma eficiente para distribuir corretamente os pedidos.
• Carga desigual: Alguns especialistas podem ficar sobrecarregados, outros inativos.
• Problemas de generalização: Se a porta cometer erros, a qualidade pode deteriorar-se.

Exemplo de esquema simplificado em pseudocódigo:

experts = [Expert1(), Expert2(), Expert3()]
gate = GateNetwork()

input = get_input()
weights = gate(input)  # probabilidades para cada especialista
output = sum(w * expert(input) for w, expert in zip(weights, experts))

Nos modelos LLM atuais, o MoE ajuda a criar modelos muito grandes com custos menores de recursos.