Какво е целевата мрежа в DQN?

Целевата мрежа в DQN е копие на основната невронна мрежа, която се използва за изчисляване на целевите стойности на функцията Q по време на обучение. Тя се актуализира по-рядко от основната мрежа (например, на всеки няколко хиляди стъпки), което помага за стабилизиране на обучението и избягване на разминавания. Идеята е, че фиксираната целева мрежа осигурява по-стабилна цел за актуализиране на параметрите на основната мрежа.

Пример за актуализация на целевата мрежа:

if step % target_update_freq == 0:
    target_network.load_state_dict(main_network.state_dict())