Was ist DQN und welche Probleme löst es im Vergleich zu Q-Learning?

DQN (Deep Q-Network) ist ein Verstärkungslernalgorithmus, der ein neuronales Netzwerk zur Approximation der Q-Funktion verwendet, im Gegensatz zum klassischen Q-Learning, das die Q-Werte in einer Tabelle speichert.

Probleme des klassischen Q-Learnings:

• Ineffizient bei großen oder kontinuierlichen Zustandsräumen, da die Q-Tabelle zu groß wird oder nicht gespeichert werden kann.
• Kann Wissen zwischen ähnlichen Zuständen nicht verallgemeinern.

DQN löst diese Probleme durch:

• Verwendung eines tiefen neuronalen Netzwerks zur Approximation der Q-Funktion, was die Arbeit mit hochdimensionalen und kontinuierlichen Zuständen ermöglicht.
• Anwendung eines Erfahrungsspeicher-Mechanismus (Experience Replay), der vergangene Übergänge speichert und auf zufälligen Mini-Batches trainiert, um die Korrelation zwischen aufeinanderfolgenden Daten zu verringern und das Lernen zu stabilisieren.
• Verwendung eines Zielnetzwerks (Target Network), das seltener aktualisiert wird, um die Zielwerte beim Lernen zu stabilisieren.

Auf diese Weise ermöglicht DQN die Anwendung von Q-Learning auf komplexe Aufgaben mit großen Zustandsräumen, z.B. bei Spielen mit Eingabebildern.