Co je DQN a jaké problémy řeší ve srovnání s Q-learningem?

DQN (Deep Q-Network) je algoritmus posilovaného učení, který používá neuronovou síť k aproximaci Q-funkce, na rozdíl od klasického Q-learningu, který ukládá hodnoty Q do tabulky.

Problémy klasického Q-learningu:

• Neefektivní v rozsáhlých nebo spojitých stavech prostorů, protože tabulka Q se stává příliš velkou nebo nemožnou k uložení.
• Nedokáže generalizovat znalosti mezi podobnými stavy.

DQN tyto problémy řeší pomocí:

• Použití hluboké neuronové sítě k aproximaci Q-funkce, což umožňuje pracovat s vysokodimenzionálními a spojitými stavy.
• Aplikace mechanismu zkušenostního přehrávání (experience replay), který ukládá minulé přechody a trénuje na náhodných mini-větvích, snižuje korelaci mezi sekvenčními daty a stabilizuje učení.
• Použití cílové sítě (target network), která se aktualizuje méně často, aby stabilizovala cílové hodnoty během učení.

Tímto způsobem umožňuje DQN aplikovat Q-learning na složité úkoly s velkými prostory stavů, například na hry s obrazovým vstupem.