Cílová síť v DQN je kopie hlavní neuronové sítě, která se používá k výpočtu cílových hodnot funkce Q během tréninku. Aktualizuje se méně často než hlavní síť (například každých několik tisíc kroků), což pomáhá stabilizovat trénink a zabránit divergenci. Myšlenka je, že pevná cílová síť poskytuje stabilnější cíl pro aktualizaci parametrů hlavní sítě.

Příklad aktualizace cílové sítě:

if step % target_update_freq == 0:
    target_network.load_state_dict(main_network.state_dict())

Předchozí Další