Wat is DQN en welke problemen lost het op in vergelijking met Q-learning?

DQN (Deep Q-Network) is een reinforcement learning algoritme dat een neuraal netwerk gebruikt om de Q-functie te benaderen, in tegenstelling tot de klassieke Q-learning die de Q-waarden in een tabel opslaat.

Problemen van klassieke Q-learning:

• Niet efficiënt bij grote of continue toestandsruimtes, omdat de Q-tabel te groot wordt of niet kan worden opgeslagen.
• Kan geen kennis generaliseren tussen vergelijkbare toestanden.

DQN lost deze problemen op door:

• Gebruik van een diep neuraal netwerk om de Q-functie te benaderen, wat werken met hoog-dimensionale en continue toestanden mogelijk maakt.
• Toepassing van een ervaring herhaling mechanisme (experience replay), dat eerdere overgangen opslaat en traint op willekeurige mini-batches, waardoor de correlatie tussen opeenvolgende gegevens wordt verminderd en de training wordt gestabiliseerd.
• Gebruik van een doelnetwerk (target network), dat minder vaak wordt bijgewerkt om de doelwaarden tijdens het leren te stabiliseren.

Op deze manier maakt DQN het mogelijk om Q-learning toe te passen op complexe taken met grote toestandsruimtes, zoals spellen met invoer van beelden.