DQN чист ва чӣ мушкилотро дар муқоиса бо Q-learning ҳал мекунад?

DQN (Deep Q-Network) — алгоритмики омӯзиши бо қувват, ки аз шабакаи нейронӣ барои тақсим кардани функсияи Q истифода мебарад, баръакс аз Q-омӯзиши классикӣ, ки арзишҳои Q-ро дар ҷадвал нигоҳ медорад.

Масъалаҳои Q-омӯзиши классикӣ:

• Дар майдонҳои калон ё пайвастшаванда, ки ҷадвали Q хеле калон мешавад ё ғайриимкон аст, ки нигоҳ дошта шавад.
• Наметавонад дониши байни ҳолатҳои монандро умумӣ кунад.

DQN ин масъалаҳоро бо роҳи:

• Истифодаи шабакаи нейронӣ дарозмуддат барои тақсим кардани функсияи Q, ки имкон медиҳад бо ҳолатҳои баландDimensional ва пайвастшаванда кор кунад.
• Истифодаи механизми бозгашт (experience replay), ки гузаштагонро нигоҳ медорад ва дар мини-баҷҳо ёрӣ медиҳад, ки дар байни маълумоти пайдарпай камтар ҳамоҳангӣ ва устувор кардани омӯзиш.
• Истифодаи шабакаи ҳадаф (target network), ки камтар навсозӣ мешавад, барои устувор кардани арзишҳои ҳадаф дар вақти омӯзиш.

Ин тариқ, DQN имкон медиҳад, ки Q-омӯзишро ба вазифаҳои мураккаб бо майдонҳои калон татбиқ кунад, масалан, дар бозӣ бо воридоти тасвирҳо.