Ce este DQN și ce probleme rezolvă în comparație cu Q-learning?

DQN (Rețea Q Profundă) este un algoritm de învățare prin întărire care utilizează o rețea neuronală pentru a aproxima funcția Q, spre deosebire de Q-learning clasic, care stochează valorile Q într-un tabel.

Probleme ale Q-learning-ului clasic:

• Ineficient în spații mari sau continue de stări, deoarece tabelul Q devine prea mare sau imposibil de stocat.
• Nu poate generaliza cunoștințele între stări similare.

DQN rezolvă aceste probleme prin:

• Utilizarea unei rețele neuronale profunde pentru a aproxima funcția Q, permițând lucrul cu stări de înaltă dimensiune și continue.
• Aplicarea unui mecanism de reamintire a experienței (experience replay), care stochează tranzițiile trecute și se antrenează pe mini-lote aleatorii, reducând corelația dintre datele secvențiale și stabilizând învățarea.
• Utilizarea unei rețele țintă (target network), care este actualizată mai rar pentru a stabiliza valorile țintă în timpul antrenamentului.

Astfel, DQN permite aplicarea Q-learning-ului la sarcini complexe cu spații mari de stări, cum ar fi jocurile cu intrări de imagini.