Czym jest DQN i jakie problemy rozwiązuje w porównaniu do Q-learning?

DQN (Deep Q-Network) to algorytm uczenia się przez wzmacnianie, który wykorzystuje sieć neuronową do przybliżania funkcji Q, w przeciwieństwie do klasycznego Q-learningu, który przechowuje wartości Q w tabeli.

Problemy klasycznego Q-learningu:

• Nieefektywny w dużych lub ciągłych przestrzeniach stanów, ponieważ tabela Q staje się zbyt duża lub niemożliwa do przechowywania.
• Nie potrafi generalizować wiedzy między podobnymi stanami.

DQN rozwiązuje te problemy poprzez:

• Użycie głębokiej sieci neuronowej do przybliżania funkcji Q, co pozwala na pracę z wysokowymiarowymi i ciągłymi stanami.
• Zastosowanie mechanizmu doświadczenia (experience replay), który przechowuje poprzednie przejścia i uczy się na losowych mini-partiach, zmniejszając korelację między danymi sekwencyjnymi i stabilizując uczenie.
• Użycie sieci docelowej (target network), która jest rzadziej aktualizowana, aby stabilizować wartości docelowe podczas uczenia.

W ten sposób DQN pozwala na zastosowanie Q-learningu do złożonych zadań z dużą przestrzenią stanów, na przykład do gier z wejściami obrazowymi.