O que é REINFORCE e quais são os seus problemas?

REINFORCE é um algoritmo básico de aprendizagem por reforço baseado no método do gradiente de política. Ele atualiza os parâmetros da política usando os gradientes calculados com base nas recompensas recebidas pelo agente.

Ideia principal: o agente gera trajetórias de ações, recebe recompensas, e os parâmetros da política são atualizados para aumentar a probabilidade de ações que levam a bons resultados.

Problemas do REINFORCE:

• Alta variância nos gradientes — as estimativas dos gradientes podem oscilar bastante, dificultando o treino.
• Convergência lenta — devido à variância e à ausência de uso de informações de valor de estado.
• Ausência de linha de base — sem ela, os gradientes são menos estáveis.

Para reduzir a variância, muitas vezes é introduzida uma linha de base (baseline), como uma função de valor, o que melhora a estabilidade do treino.