DQN-s on eesmärkvõrk koopia peamisest närvivõrgust, mida kasutatakse Q-funktsiooni sihtväärtuste arvutamiseks treeningu ajal. See uuendatakse harvem kui peamine võrk (näiteks iga mõne tuhande sammu järel), mis aitab stabiliseerida treeningut ja vältida lahknemist. Mõte on see, et fikseeritud eesmärkvõrk pakub stabiilsemat sihti peamise võrgu parameetrite uuendamiseks.

Näide eesmärkvõrgu uuendamisest:

if step % target_update_freq == 0:
    target_network.load_state_dict(main_network.state_dict())

Eelmine Edasi