Čo je SAC (Soft Actor-Critic) a prečo použiť RL s maximálnou entropiou?

Soft Actor-Critic (SAC) je algoritmus učenia s posilovanjem, ktorý patrí do rodiny off-policy metód s kontinuálnym priestorom akcií. Jeho kľúčovou vlastnosťou je využitie maximalizácie entropie (maximum entropy RL).

Čo je SAC?

• SAC trénuje politiku, ktorá maximalizuje nielen očakávanú odmenu, ale aj entropiu správania agenta.
• To vedie k viac skúmavému správaniu a väčšej stabilite voči lokálnym minimám.
• SAC používa dvoch kritikov (funkcie hodnoty) na zníženie skreslenia a stabilizáciu učenia.

Prečo je dôležitá maximálna entropia?

• Maximalizácia entropie povzbudzuje agenta, aby si vyberal náhodnejšie akcie, čo zlepšuje skúmanie prostredia.
• Pomáha predchádzať predčasnej konvergencii k suboptimálnym stratégiám.
• Nakoniec sa agent naučí odolnejšiu a rozmanitejšiu politiku.

Týmto spôsobom SAC kombinuje efektívnosť off-policy metód s výhodami stokastického správania, čím sa stáva mocným nástrojom pre zložité úlohy RL s kontinuálnymi akciami.