Что такое DQN и какие проблемы он решает по сравнению с Q-learning?

DQN (Deep Q-Network) — это алгоритм обучения с подкреплением, который использует нейронную сеть для аппроксимации Q-функции, в отличие от классического Q-learning, который хранит значения Q в таблице.

Проблемы классического Q-learning:

• Неэффективен при большом или непрерывном пространстве состояний, так как таблица Q становится слишком большой или невозможной для хранения.
• Не может обобщать знания между похожими состояниями.

DQN решает эти проблемы за счет:

• Использования глубокой нейронной сети для аппроксимации Q-функции, что позволяет работать с высокоразмерными и непрерывными состояниями.
• Применения механизма опыта (experience replay), который хранит прошлые переходы и обучается на случайных мини-батчах, уменьшая корреляцию между последовательными данными и стабилизируя обучение.
• Использования целевой сети (target network), которая обновляется реже, чтобы стабилизировать целевые значения при обучении.

Таким образом, DQN позволяет применять Q-learning к сложным задачам с большим пространством состояний, например, к играм с изображениями на входе.