DQN-деги максаттуу тармак эмне?

DQN-деги максаттуу тармак негизги нейрондук тармактын көчүрмөсү болуп саналат, ал үйрөнүү учурунда Q-функциясынын максаттык маанилерин эсептөө үчүн колдонулат. Ал негизги тармакка караганда азыраак жаңыланат (мисалы, ар бир нече миң кадамда бир), бул үйрөнүүнү туруктуулукка жана ажырашууга жол бербөөгө жардам берет. Идея — туруктуу максаттуу тармак негизги тармактын параметрлерин жаңылоодо көбүрөөк туруктуулук камсыздайт.

Максаттуу тармакты жаңылоонун мисалы:

if step % target_update_freq == 0:
    target_network.load_state_dict(main_network.state_dict())