Kas yra tikslinė tinklas DQN?

DQN tikslinė tinklas yra pagrindinio neuroninio tinklo kopija, naudojama skaičiuojant tikslines Q funkcijos reikšmes mokymo metu. Jis atnaujinamas rečiau nei pagrindinis tinklas (pavyzdžiui, kas kelias tūkstančius žingsnių), tai padeda stabilizuoti mokymąsi ir išvengti divergencijos. Idėja ta, kad fiksuotas tikslinis tinklas užtikrina stabilesnį tikslą pagrindinių parametrų atnaujinimui.

Pavyzdys, kaip atnaujinti tikslinį tinklą:

if step % target_update_freq == 0:
    target_network.load_state_dict(main_network.state_dict())