Šta je actor-critic i zašto su potrebne dve mreže?

Actor-Critic je metoda učenja pojačanja koja kombinuje dva modela (neuronske mreže): glumca i kritičara.

• Glumac je odgovoran za izbor akcija na osnovu trenutne politike. On generiše strategiju ponašanja agenta.
• Kritičar procenjuje odabranu akciju, izračunavajući funkciju vrednosti ili grešku predviđanja, odnosno koliko je akcija bila dobra u trenutnom stanju.

Zašto su potrebne dve mreže?

1. Podela zadataka: Glumac uči da bira akcije, a kritičar da ih procenjuje, što pomaže u stabilizaciji i ubrzanju učenja.
2. Povratne informacije: Kritičar pruža glumcu signal greške (gradijent), omogućavajući efikasnije prilagođavanje politike.

Na ovaj način, actor-critic kombinuje prednosti metoda zasnovanih na politici i metoda zasnovanih na vrednosti, poboljšavajući kvalitet i brzinu učenja agenta.