Что такое Double DQN и какую проблему он решает?

Double DQN (Double Deep Q-Network) — это улучшение классического алгоритма DQN в области обучения с подкреплением. Основная проблема, которую решает Double DQN, — переоценка значений Q-функции, возникающая в стандартном DQN из-за использования одного и того же нейросетевого оценщика для выбора и оценки действия.

Double DQN разделяет эти две задачи: одна сеть выбирает действие с максимальным значением Q, а другая — оценивает это действие. Это снижает смещение и приводит к более стабильному и точному обучению.

Пример:

• В DQN: target = reward + gamma * max_a' Q(next_state, a')
• В Double DQN: target = reward + gamma * Q_target(next_state, argmax_a' Q_online(next_state, a'))

Где Q_online — основная сеть, выбирающая действие, а Q_target — целевая сеть, оценивающая выбранное действие.