Šta je DQN i koje probleme rešava u poređenju sa Q-learningom?

DQN (Deep Q-Network) je algoritam učenja pojačanja koji koristi neuronsku mrežu za približavanje Q-funkcije, za razliku od klasičnog Q-učenja koje čuva vrednosti Q u tabeli.

Problemi klasičnog Q-učenja:

• Nije efikasno u velikim ili kontinuiranim prostorima stanja, jer tabela Q postaje prevelika ili nemoguće je sačuvati.
• Ne može da generalizuje znanje između sličnih stanja.

DQN rešava ove probleme pomoću:

• Korišćenja duboke neuronske mreže za približavanje Q-funkcije, što omogućava rad sa visokodimenzionalnim i kontinuiranim stanjima.
• Primene mehanizma iskustvenog ponovnog učitavanja (experience replay), koji čuva prošle prelaze i trenira na slučajnim mini-batch-ovima, smanjujući korelaciju između uzastopnih podataka i stabilizujući učenje.
• Korišćenja ciljne mreže (target network), koja se ređe ažurira, kako bi stabilizovala ciljne vrednosti tokom učenja.

Na ovaj način, DQN omogućava primenu Q-učenja na složenim zadacima sa velikim prostorima stanja, na primer, na igrama sa ulaznim slikama.