DQN эмне жана ал Q-learningге салыштырмалуу кандай көйгөйлөрдү чечет?

DQN (Deep Q-Network) — күчүрүү үйрөнүү алгоритми болуп саналат жана Q-функцияны жакындаштыруу үчүн нейрондук тармакты колдонуп, классикалык Q-үйрөнүүдөн айырмаланып, Q-баалууларынын таблицасында сактайт.

Классикалык Q-үйрөнүүнүн көйгөйлөрү:

• Үлкен же үзгүлтүксүз абалдар кеңейтистеринде натыйжалуу эмес, анткени Q таблицасы өтө чоң болуп калат же сактоо мүмкүн эмес.
• Бирдей абалдар ортосунда билимди жалпылай албайт.

DQN бул көйгөйлөрдү төмөндөгүчө чечет:

• Q-функцияны жакындаштыруу үчүн терең нейрондук тармакты колдонуп, жогорку өлчөмдүү жана үзгүлтүксүз абалдар менен иштөөгө мүмкүндүк берет.
• Тажрыйба кайра ойнотуу механизмин колдонуп, ал өткөн өтүүлөрдү сактап, кездейсоқ мини-блоктордо үйрөнөт, үзгүлтүксүз маалыматтардын ортосундагы байланыштарды азайтып, үйрөнүүнү туруктуу кылат.
• Мақсаттуу тармакты (target network) колдонуп, ал азыраак жаңыртылып, үйрөнүү учурунда максаттуу маанилерди туруктуу кылат.

Ошентип, DQN чоң абалдар кеңейтистерин камтыган татаал тапшырмаларга Q-үйрөнүүнү колдонууга мүмкүндүк берет, мисалы, сүрөттөр менен кирүүчү оюндарга.