Wat is het target netwerk in DQN?

Target network in DQN is een kopie van het hoofdneuronale netwerk, dat wordt gebruikt om de doelwaarden van de Q-functie tijdens het trainen te berekenen. Het wordt minder vaak bijgewerkt dan het hoofdnetwerk (bijvoorbeeld elke paar duizend stappen), wat helpt om de training te stabiliseren en divergentie te voorkomen. Het idee is dat een vaste target network een stabieler doel biedt voor het bijwerken van de parameters van het hoofdnetwerk.

Voorbeeld van het bijwerken van de target network:

if step % target_update_freq == 0:
    target_network.load_state_dict(main_network.state_dict())