Qu'est-ce que le réseau cible dans DQN?

Le réseau cible dans DQN est une copie du réseau neuronal principal, utilisée pour calculer les valeurs cibles de la fonction Q pendant l'apprentissage. Il est mis à jour moins fréquemment que le réseau principal (par exemple, toutes les quelques milliers d'étapes), ce qui aide à stabiliser l'apprentissage et à éviter la divergence. L'idée est qu'un réseau cible fixe fournit un objectif plus stable pour la mise à jour des paramètres du réseau principal.

Exemple de mise à jour du réseau cible:

if step % target_update_freq == 0:
    target_network.load_state_dict(main_network.state_dict())