Kas ir DQN un kādas problēmas tas risina salīdzinājumā ar Q-learning?

DQN (Deep Q-Network) ir pastiprināšanas mācīšanās algoritms, kas izmanto neironu tīklu Q-funkcijas tuvināšanai, atšķirībā no klasiskās Q-mācības, kas glabā Q vērtības tabulā.

Klasiskās Q-mācības problēmas:

• Nav efektīva lielās vai nepārtrauktās stāvokļu telpās, jo Q tabula kļūst pārāk liela vai neiespējama to uzglabāt.
• Nespēj vispārināt zināšanas starp līdzīgiem stāvokļiem.

DQN risina šīs problēmas ar:

• Dziļas neironu tīkla izmantošanu Q-funkcijas tuvināšanai, kas ļauj strādāt ar augstas dimensijas un nepārtrauktiem stāvokļiem.
• Pieredzes atkārtošanas mehānisma (experience replay) piemērošanu, kas glabā iepriekšējās pārejas un apmācās no nejaušiem mini-partijām, samazinot secīgu datu korelāciju un stabilizējot mācīšanos.
• Mērķtīkla (target network) izmantošanu, kas tiek atjaunināts retāk, lai stabilizētu mērķa vērtības mācīšanās laikā.

Tādējādi DQN ļauj piemērot Q-mācību sarežģītiem uzdevumiem ar lielām stāvokļu telpām, piemēram, spēlēm ar ievades attēliem.