O que é RL multi-agente e quais são os seus problemas de não-estacionaridade?

O aprendizado por reforço multiagente (multi-agent RL) é uma área de aprendizagem por reforço onde vários agentes interagem simultaneamente num ambiente, aprendendo a tomar decisões. Cada agente procura maximizar a sua própria recompensa, enquanto o comportamento de outros agentes influencia a dinâmica do ambiente.

O problema da não-estacionaridade surge porque o ambiente para cada agente muda ao longo do tempo devido ao aprendizado e às mudanças nas estratégias de outros agentes. No RL clássico, o ambiente é considerado estacionário (sem mudanças), mas no multi-agent RL, a política de outros agentes é constantemente atualizada, o que leva à instabilidade no aprendizado e dificulta a convergência dos algoritmos.

Isto complica a tarefa porque:

• O agente não pode considerar o comportamento do ambiente como fixo.
• Os métodos tradicionais de avaliação de valor e política podem ser ineficazes.
• É necessário considerar a adaptabilidade e a coordenação entre agentes.

Para resolver isso, utilizam-se métodos que consideram as interações, como o aprendizado com política conjunta, o uso de modelos de comportamento de outros agentes ou o treinamento com aprendizagem centralizada e execução descentralizada.