O que é DQN e que problemas ele resolve em comparação com Q-learning?

DQN (Deep Q-Network) é um algoritmo de aprendizagem por reforço que utiliza uma rede neural para aproximar a função Q, ao contrário do Q-learning clássico, que armazena os valores Q numa tabela.

Problemas do Q-learning clássico:

• Não é eficiente em espaços de estados grandes ou contínuos, pois a tabela Q torna-se demasiado grande ou impossível de armazenar.
• Não consegue generalizar conhecimentos entre estados semelhantes.

DQN resolve esses problemas através de:

• Uso de uma rede neural profunda para aproximar a função Q, permitindo trabalhar com estados de alta dimensão e contínuos.
• Aplicação de um mecanismo de experiência (replay de experiência), que armazena transições passadas e treina em mini-lotes aleatórios, reduzindo a correlação entre dados sequenciais e estabilizando o aprendizagem.
• Uso de uma rede alvo (target network), que é atualizada com menos frequência para estabilizar os valores alvo durante o treino.

Assim, o DQN permite aplicar o Q-learning a tarefas complexas com grandes espaços de estados, como jogos com entradas de imagens.