Co je actor-critic a proč jsou potřeba dvě sítě?

Actor-Critic je metoda v posilovaném učení, která kombinuje dva modely (neuronové sítě): herce a kritika.

• Herec je zodpovědný za výběr akcí na základě aktuální politiky. Generuje strategii chování agenta.
• Kritik hodnotí zvolenou akci, počítá hodnotovou funkci nebo chybu předpovědi, tedy jak dobrá byla akce v aktuálním stavu.

Proč jsou potřeba dvě sítě?

1. Rozdělení úkolů: Herec se učí vybírat akce, zatímco kritik je hodnotí, což pomáhá stabilizovat a urychlit učení.
2. Zpětná vazba: Kritik poskytuje herci signál chyby (gradient), což umožňuje efektivnější úpravu politiky.

Tímto způsobem kombinuje actor-critic výhody politiky založených metod a metod založených na hodnotě, zlepšuje kvalitu a rychlost učení agenta.