Čo je DQN a aké problémy rieši v porovnaní s Q-learningom?

DQN (Deep Q-Network) je algoritmus učenia s posilovanjem, ktorý využíva neurónovú sieť na približovanie Q-funkcie, na rozdiel od klasického Q-learningu, ktorý ukladá hodnoty Q do tabuľky.

Problémy klasického Q-learningu:

• Nie je efektívny v veľkých alebo spojitých priestoroch stavov, pretože tabuľka Q sa stáva príliš veľkou alebo nemožnou na uloženie.
• Nedokáže generalizovať znalosti medzi podobnými stavmi.

DQN tieto problémy rieši pomocou:

• Použitia hlbokej neurónovej siete na približovanie Q-funkcie, čo umožňuje pracovať s vysokodimenzionálnymi a spojitými stavmi.
• Aplikácie mechanizmu skúsenostného prehrávania (experience replay), ktorý ukladá minulé prechody a trénuje na náhodných mini-väzbách, znižuje koreláciu medzi sekvenčnými dátami a stabilizuje učenie.
• Použitia cieľovej siete (target network), ktorá sa aktualizuje menej často, aby stabilizovala cieľové hodnoty počas učenia.

Týmto spôsobom umožňuje DQN aplikovať Q-learning na zložité úlohy s veľkými priestormi stavov, napríklad na hry s vstupmi obrázkov.