Double DQN дегеніміз не және ол қандай мәселені шешеді?

Double DQN (Double Deep Q-Network) — бұл классикалық DQN алгоритмін жетілдіру. Double DQN шешетін негізгі мәселе — стандартты DQN-де пайда болатын Q-функциясының бағасын асыра бағалау, ол бірдей нейрон желісін әрекетті таңдау және бағалау үшін пайдалануынан туындайды.

Double DQN бұл екі тапсырманы бөледі: бір желі ең жоғары Q мәні бар әрекетті таңдайды, ал екінші — сол әрекетті бағалайды. Бұл ауытқуды азайтады және оқытуды тұрақты әрі дәл етеді.

Мысал:

• DQN-де: target = reward + gamma * max_a' Q(next_state, a')
• Double DQN-де: target = reward + gamma * Q_target(next_state, argmax_a' Q_online(next_state, a'))

Мұнда Q_online — негізгі желі, ол әрекетті таңдайды, ал Q_target — мақсатты желі, ол таңдалған әрекетті бағалайды.