DQN'de hedef ağ nedir?

DQN'de hedef ağ, eğitim sırasında Q fonksiyonunun hedef değerlerini hesaplamak için kullanılan ana sinir ağının bir kopyasıdır. Ana ağdan daha az sıklıkla güncellenir (örneğin, birkaç bin adımda bir), bu da eğitimi stabilize etmeye ve sapmayı önlemeye yardımcı olur. Fikre göre, sabit bir hedef ağ, ana ağın parametrelerini güncellemek için daha istikrarlı bir hedef sağlar.

Hedef ağın güncellenmesine örnek:

if step % target_update_freq == 0:
    target_network.load_state_dict(main_network.state_dict())