Mis on actor-critic ja miks on vaja kahte võrku?

Actor-Critic on tugevdamise õppimises meetod, mis ühendab kaks mudelit (neuronvõrke): näitleja ja kriitiku.

• Näitleja vastutab tegevuste valimise eest vastavalt praegusele poliitikale. Ta genereerib agendi käitumisstrateegia.
• Kriitik hindab valitud tegevust, arvutades väärtusfunktsiooni või prognoosiviga, st kui hea oli tegevus praeguses seisundis.

Miks on vaja kahte võrku?

1. Ülesannete jaotamine: Näitleja õpib valima tegevusi, kriitik hindab neid, mis aitab õppimist stabiliseerida ja kiirendada.
2. Tagasiside: Kriitik annab näitlejale veasignaali (gradient), võimaldades poliitikat tõhusamalt kohandada.

Sel viisil ühendab actor-critic poliitikapõhiste ja väärtuspõhiste meetodite eelised ning parandab agendi õppimise kvaliteeti ja kiirust.