DQN nədir və Q-learning ilə müqayisədə hansı problemləri həll edir?

DQN (Deep Q-Network) gücləndirmə öyrənmə alqoritmidir və Q-funksiyasını təxmin etmək üçün neyron şəbəkəsindən istifadə edir, klassik Q-öyrənmədən fərqli olaraq, Q dəyərlərini cədvəldə saxlayır.

Klassik Q-öyrənmənin problemləri:

• Böyük və ya davamlı vəziyyət sahələrində effektiv deyil, çünki Q cədvəli çox böyük olur və ya saxlamaq mümkün deyil.
• Oxşar vəziyyətlər arasında bilikləri ümumiləşdirə bilmir.

DQN bu problemləri aşağıdakı şəkildə həll edir:

• Q-funksiyasını təxmin etmək üçün dərin neyron şəbəkəsindən istifadə edir, bu da yüksək ölçülü və davamlı vəziyyətlərlə işləməyə imkan verir.
• Təcrübə təkrarı mexanizmi tətbiq edir, bu mexanizm keçmiş keçidləri saxlayır və təsadüfi mini-partiyalar üzərində öyrənir, ardıcıl məlumatlar arasındakı əlaqəni azaldır və öyrənməni stabilləşdirir.
• Hədəf şəbəkəsindən (target network) istifadə edir, bu şəbəkə daha az yenilənir və öyrənmə zamanı hədəf dəyərləri stabilləşdirir.

Beləliklə, DQN böyük vəziyyət sahələrinə malik mürəkkəb tapşırıqlarda Q-öyrənməni tətbiq etməyə imkan verir, məsələn, görüntü girişli oyunlar üçün.