O que é o Rainbow DQN e que componentes ele combina?

Rainbow DQN é uma versão aprimorada do algoritmo Deep Q-Network (DQN) na área de aprendizagem por reforço, que combina várias técnicas avançadas para melhorar a eficiência e estabilidade do treino. Os principais componentes que o Rainbow DQN combina:

• Double DQN: reduz a superestimação dos valores Q, usando dois conjuntos de parâmetros para selecionar e avaliar ações.
• Arquitetura de Rede Dueling: separa a avaliação do estado e as vantagens das ações, ajudando a avaliar melhor a importância dos estados.
• Repetição de Experiência Priorizada: seleção priorizada de experiências para o treino, para usar com mais frequência exemplos mais relevantes.
• Aprendizagem Multi-passo: uso de múltiplos passos de recompensa para transmitir sinais mais rapidamente.
• RL Distribucional: modela a distribuição das recompensas, ao invés de apenas seu valor médio.
• Redes Ruidosas: adiciona estocasticidade aos pesos da rede para melhorar a exploração do ambiente.

A combinação desses componentes permite que o Rainbow DQN alcance melhores resultados em comparação com o DQN clássico, melhorando a estabilidade e a velocidade de aprendizagem.