Wat is multi-agent RL en wat zijn de problemen van non-stationarity?

Multi-agent versterkend leren (multi-agent RL) is een gebied van versterkend leren waarbij meerdere agenten gelijktijdig in een omgeving interageren en leren beslissingen te nemen. Elke agent probeert zijn eigen beloning te maximaliseren, terwijl het gedrag van andere agenten de dynamiek van de omgeving beïnvloedt.

Het probleem van non-stationariteit ontstaat omdat de omgeving voor elke agent in de loop van de tijd verandert door leren en veranderingen in de strategieën van andere agenten. In klassieke RL wordt de omgeving als stationair (onveranderlijk) beschouwd, maar in multi-agent RL wordt het beleid van andere agenten voortdurend bijgewerkt, wat leidt tot instabiliteit in het leren en het moeilijk maakt voor algoritmen om te convergeren.

Dit maakt de taak moeilijk omdat:

• De agent het gedrag van de omgeving niet als vast kan beschouwen.
• Traditionele methoden voor waardering en beleid kunnen ineffectief zijn.
• Het is nodig om aanpassingsvermogen en coördinatie tussen agenten in overweging te nemen.

Om dit op te lossen, worden methoden gebruikt die interacties in overweging nemen, zoals leren met gezamenlijk beleid, gebruik van gedragsmodellen van andere agenten of trainen met gecentraliseerd leren en gedecentraliseerde uitvoering.