Что такое target network в DQN?

Target network в DQN — это копия основной нейронной сети, которая используется для вычисления целевых значений Q-функции во время обучения. Она обновляется реже, чем основная сеть (например, каждые несколько тысяч шагов), что помогает стабилизировать обучение и избежать расходимости. Идея в том, что фиксированная target network обеспечивает более устойчивую цель для обновления параметров основной сети.

Пример обновления target network:

if step % target_update_freq == 0:
    target_network.load_state_dict(main_network.state_dict())