Czym jest sieć docelowa w DQN?

Sieć docelowa w DQN to kopia głównej sieci neuronowej, która jest używana do obliczania docelowych wartości funkcji Q podczas treningu. Jest aktualizowana rzadziej niż główna sieć (np. co kilka tysięcy kroków), co pomaga stabilizować trening i unikać rozbieżności. Pomysł polega na tym, że stała sieć docelowa zapewnia bardziej stabilny cel do aktualizacji parametrów głównej sieci.

Przykład aktualizacji sieci docelowej:

if step % target_update_freq == 0:
    target_network.load_state_dict(main_network.state_dict())