Kas yra multi-agent RL ir kokios yra jo problemos su non-stationarity?

Daugelio agentų stiprinimo mokymasis (multi-agent RL) yra stiprinimo mokymosi sritis, kurioje keli agentai vienu metu sąveikauja su aplinka ir mokosi priimti sprendimus. Kiekvienas agentas siekia maksimizuoti savo apdovanojimą, tuo pačiu kai kitų agentų elgesys veikia aplinkos dinamiką.

Nesistacioningumo problema kyla dėl to, kad kiekvieno agente aplinka keičiasi laikui bėgant dėl mokymosi ir kitų agentų strategijų pokyčių. Klasikiniame RL aplinka laikoma stacionari (nekeičiama), tačiau multi-agent RL, kitų agentų politika nuolat atnaujinama, kas sukelia mokymosi nestabilumą ir sudėtingumą algoritmų konvergencijai.

Tai apsunkina užduotį, nes:

• Agentas negali laikyti aplinkos elgesio kaip fiksuoto.
• Tradiciniai vertinimo ir politikos metodai gali būti neveiksmingi.
• Reikia atsižvelgti į prisitaikymą ir koordinaciją tarp agentų.

Sprendžiant tai, naudojami metodai, kurie atsižvelgia į sąveikas, pavyzdžiui, bendros politikos mokymasis, kitų agentų elgesio modelių naudojimas arba mokymas su centralizuotu mokymu ir decentralizuotu vykdymu.