Cieľová sieť v DQN je kópia hlavnej neurónovej siete, ktorá sa používa na výpočet cieľových hodnôt funkcie Q počas tréningu. Aktualizuje sa menej často ako hlavná sieť (napríklad každé niekoľko tisíc krokov), čo pomáha stabilizovať tréning a zabrániť divergencii. Myšlienka je, že pevná cieľová sieť poskytuje stabilnejší cieľ na aktualizáciu parametrov hlavnej siete.

Príklad aktualizácie cieľovej siete:

if step % target_update_freq == 0:
    target_network.load_state_dict(main_network.state_dict())

Predchádzajúce Ďalej