Mis on DQN ja milliseid probleeme see lahendab võrreldes Q-learninguga?

DQN (Deep Q-Network) on tugevdamise õppimise algoritm, mis kasutab närvivõrku Q-funktsiooni lähedusväärtuse hindamiseks, erinevalt klassikalisest Q-õppest, mis salvestab Q-väärtused tabelisse.

Klassikalise Q-õppe probleemid:

• Mitte tõhus suurte või pidevate oleku ruumide puhul, kuna Q-tabel muutub liiga suureks või on võimatu seda salvestada.
• Ei suuda üldistada teadmisi sarnaste olekute vahel.

DQN lahendab need probleemid järgmiselt:

• Kasutades sügavat närvivõrku Q-funktsiooni lähedusväärtuse hindamiseks, mis võimaldab töötada kõrge mõõtmeliste ja pidevate olekutega.
• Rakendades kogemuste taasesituse mehhanismi (experience replay), mis salvestab varasemad üleminekud ja treenib juhuslike mini-partii põhjal, vähendades järjestikuste andmete vahelisi korrelatsioone ja stabiliseerides õppimist.
• Kasutades sihtvõrku (target network), mis uuendatakse harvem, et stabiliseerida sihtväärtusi õppimise ajal.

Sel viisil võimaldab DQN rakendada Q-õpet keerukatel ülesannetel, millel on suured oleku ruumid, näiteks piltidega sisenditega mänge.