¿Qué es DQN y qué problemas resuelve en comparación con Q-learning?

DQN (Red Profunda Q-Network) es un algoritmo de aprendizaje por refuerzo que utiliza una red neuronal para aproximar la función Q, a diferencia del aprendizaje Q clásico, que almacena los valores Q en una tabla.

Problemas del aprendizaje Q clásico:

• No es eficiente en espacios de estados grandes o continuos, ya que la tabla Q se vuelve demasiado grande o imposible de almacenar.
• No puede generalizar conocimientos entre estados similares.

DQN resuelve estos problemas mediante:

• El uso de una red neuronal profunda para aproximar la función Q, lo que permite trabajar con estados de alta dimensión y continuos.
• La aplicación de un mecanismo de experiencia (repetición de experiencia), que almacena transiciones pasadas y se entrena en mini-lotes aleatorios, reduciendo la correlación entre datos secuenciales y estabilizando el entrenamiento.
• El uso de una red objetivo (red objetivo), que se actualiza con menos frecuencia para estabilizar los valores objetivo durante el entrenamiento.

De esta manera, DQN permite aplicar Q-learning a tareas complejas con grandes espacios de estados, como juegos con entradas de imágenes.