O que é actor-crítico e por que são necessárias duas redes?

Actor-Critic é um método de aprendizagem por reforço que combina dois modelos (redes neuronais): o ator e o crítico.

• O ator é responsável por escolher ações com base na política atual. Ele gera a estratégia de comportamento do agente.
• O crítico avalia a ação escolhida, calculando a função de valor ou o erro de previsão, ou seja, quão boa foi a ação no estado atual.

Para que servem duas redes?

1. Divisão de tarefas: O ator aprende a escolher ações, e o crítico a avaliá-las, o que ajuda a estabilizar e acelerar o aprendizado.
2. Retroalimentação: O crítico fornece ao ator um sinal de erro (gradiente), permitindo ajustar a política de forma mais eficiente.

Assim, actor-critic combina as vantagens dos métodos baseados em política e dos métodos de avaliação, melhorando a qualidade e a velocidade do aprendizado do agente.