Τι είναι το δίκτυο στόχος στο DQN;

Το δίκτυο στόχος στο DQN είναι ένα αντίγραφο του κύριου νευρωνικού δικτύου, το οποίο χρησιμοποιείται για τον υπολογισμό των στόχων τιμών της λειτουργίας Q κατά τη διάρκεια της εκπαίδευσης. Ενημερώνεται πιο αραιά από το κύριο δίκτυο (π.χ., κάθε μερικές χιλιάδες βήματα), κάτι που βοηθά στη σταθεροποίηση της εκπαίδευσης και στην αποφυγή αποκλίσεων. Η ιδέα είναι ότι ένα σταθερό δίκτυο στόχος παρέχει έναν πιο σταθερό στόχο για την ενημέρωση των παραμέτρων του κύριου δικτύου.

Παράδειγμα ενημέρωσης του δικτύου στόχος:

if step % target_update_freq == 0:
    target_network.load_state_dict(main_network.state_dict())