რა არის TD3 და რა სამი გაუმჯობესება შემოაქვს DDPG-ში?

TD3 (Twin Delayed Deep Deterministic policy gradient) ալգորիթմի բարելավում է DDPG (Deep Deterministic Policy Gradient) ալգորիթմը՝ շարունակական գործողությունների տարածքով առաջադրանքներում ուժեղացված ուսուցման համար: TD3-ը ներկայացնում է երեք հիմնական բարելավումներ:

1. Երկակի քննադատներ (Twin Critics): Օգտագործվում են երկու նեյրոնային ցանցեր՝ Q-գործառույթի գնահատման համար: Թարմացման ժամանակ վերցվում է երկուից նվազագույնը, ինչը նվազեցնում է Q-արժեքների գերագնահատումը:

2. Որոշված քաղաքականության ուշացված թարմացումներ (Delayed Policy Updates): Քաղաքականությունը թարմացվում է ավելի հազվադեպ, քան քննադատները (օրինակ՝ 2-3 անգամ ավելի քիչ), ինչը կայունացնում է ուսուցումը:

3. Սխալի ավելացում նպատակային քաղաքականության հարթեցման (Target Policy Smoothing): Փոքր աղմուկ է ավելացվում նպատակային քաղաքականության կողմից գեներացված գործողություններին, ինչը կանխում է գերագնահատումը և բարելավում է ընդհանուր գործառույթը:

Այս բարելավումները TD3-ը դարձնում են ավելի կայուն և արդյունավետ՝ համեմատած դասական DDPG-ի հետ։