Mis on multi-agent RL ja millised on selle probleemid mitte-statsionaarsusega?

Mitme-agendi tugevdamise õppimine (multi-agent RL) on valdkond tugevdamise õppimises, kus mitu agenti suhtlevad samaaegselt keskkonnas ja õpivad otsuseid tegema. Iga agent püüab maksimeerida oma auhinda, samal ajal kui teiste agentide käitumine mõjutab keskkonna dünaamikat.

Nõrkade seisundite probleem tekib, kuna iga agendi jaoks muutub keskkond aja jooksul, kuna õppimine ja teiste agentide strateegiate muutused. Klassikalises RL-is peetakse keskkonda stabiilseks (muutumatuks), kuid multi-agent RL-is uuendatakse teiste agentide poliitikat pidevalt, mis põhjustab õppimise stabiilsuse langust ja algoritmide konvergentsi keerukust.

See raskendab ülesannet, sest:

• Agent ei saa pidada keskkonna käitumist fikseerituks.
• Traditsioonilised väärtuse ja poliitika hindamise meetodid võivad olla ebaefektiivsed.
• On vaja arvestada kohanemisvõimet ja koostööd agentide vahel.

Selle lahendamiseks kasutatakse meetodeid, mis arvestavad interaktsioone, näiteks ühise poliitika õppimine, teiste agentide käitumismudelite kasutamine või keskse õppimise ja detsentraliseeritud täitmisega koolitus.