Ի՞նչ է DQN-ը և ինչ խնդիրներ է լուծում Q-learning-ի համեմատ։

DQN (Deep Q-Network)-ը ուժեղացման ուսուցման ալգորիթմ է, որը օգտագործում է նեյրոնային ցանց՝ Q-ֆունկցիան մոտեցնելու համար, տարբեր է դասական Q-ուսուցումից, որը պահում է Q-արժեքները սեղանիկում:

Դասական Q-ուսուցման խնդիրները՝

• Անարդյունավետ է մեծ կամ շարունակական վիճակների տարածքներում, քանի որ Q սեղանիկը շատ մեծ է կամ անհնար է պահել:
• Չի կարող ընդհանուրացնել գիտելիքները նման վիճակների միջև:

DQN-ը լուծում է այս խնդիրները՝

• Օգտագործելով խորը նեյրոնային ցանց՝ Q-ֆունկցիան մոտեցնելու համար, ինչը թույլ է տալիս աշխատել բարձրաչափական և շարունակական վիճակների հետ:
• Կիրառելով փորձի վերարտադրության մեխանիզմ՝ որը պահում է անցյալ անցումները և ուսուցանում է պատահական մինի-բլոկներով, նվազեցնելով հաջորդական տվյալների միջև կապը և կայունացնելով ուսուցումը:
• Օգտագործելով նպատակային ցանց՝ որը ավելի հազվադեպ է թարմացվում, որպեսզի կայունացնի նպատակային արժեքները ուսուցման ընթացքում:

Այսպիսով, DQN-ը թույլ է տալիս կիրառել Q-ուսուցումը բարդ խնդիրների վրա՝ մեծ վիճակների տարածքներով, օրինակ՝ պատկերային մուտքերով խաղեր։