Was ist das Zielnetzwerk in DQN?

Target-Netzwerk in DQN ist eine Kopie des Hauptneuronalen Netzwerks, das verwendet wird, um die Zielwerte der Q-Funktion während des Trainings zu berechnen. Es wird seltener aktualisiert als das Hauptnetzwerk (z.B. alle paar Tausend Schritte), was hilft, das Training zu stabilisieren und Divergenzen zu vermeiden. Die Idee ist, dass ein festes Target-Netzwerk ein stabileres Ziel für die Aktualisierung der Parameter des Hauptnetzwerks bietet.

Beispiel für die Aktualisierung des Target-Netzwerks:

if step % target_update_freq == 0:
    target_network.load_state_dict(main_network.state_dict())