Актёр-критик чист ва чаро ду шабака лозим аст?

Actor-Critic як усул дар омӯзиши бо такрор мебошад, ки ду модел (шабакаҳои нейронӣ): актёр ва танқидро дар бар мегирад.

• Актёр масъул аст барои интихоби амалҳо бар асоси сиёсати ҳозира. Ӯ стратегияи рафторро тавлид мекунад.
• Танқидгар амалро арзёбӣ мекунад, функсияи арзиш ё хатоии пешгӯиро ҳисоб мекунад, яъне, ки то чӣ андоза амал дар ҳолати ҳозира хуб буд.

Чаро ду шабака лозим аст?

1. Тақсимоти вазифаҳо: Актёр меомӯзад, ки амалҳоро интихоб кунад, ва танқидгар онҳоро арзёбӣ мекунад, ки ин кӯмак мекунад, ки омӯзиш устувор ва суръат гирад.
2. Воридоти фикру мулоҳиза: Танқидгар ба актёр сигнали хато (градиент) медиҳад, ки имкон медиҳад, ки сиёсати бештар самаранок танзим шавад.

Бинобар ин, actor-critic афзалиятҳои усулҳои асосёфта ба сиёсати ва арзишҳои асосёфтаро дар бар мегирад ва сифати ва суръати омӯзиши агентро беҳтар мекунад.