Šta je ciljna mreža u DQN?

Циљна мрежа у DQN-у је копија главне неуронске мреже, која се користи за израчунавање циљних вредности Q-функције током обуке. Она се ажурира ређе од главне мреже (на пример, сваких неколико хиљада корака), што помаже у стабилизацији обуке и избегавању divergence-а. Идеја је да фиксна циљна мрежа обезбеђује стабилнији циљ за ажурирање параметара главне мреже.

Пример ажурирања циљне мреже:

if step % target_update_freq == 0:
    target_network.load_state_dict(main_network.state_dict())