Ko'p agentli RL nima va uning non-stationarity muammolari qanday?

Ko‘p agentli kuchli o‘rganish (multi-agent RL) — bu o‘rganishning bir sohasidir, unda bir vaqtning o‘zida bir nechta agentlar muhitda o‘zaro ta’sir qilib, qarorlar qabul qilishni o‘rganadilar. Har bir agent o‘z mukofotini maksimal qilishga intiladi, boshqalar agentlarning xulq-atvori muhit dinamikasiga ta’sir qiladi.

Nestatsionarlik muammosi, har bir agent uchun muhit vaqt o‘tishi bilan o‘zgarib borishi, boshqalar agentlarning strategiyalaridagi o‘zgarishlar va o‘rganish jarayoni bilan bog‘liq. Klassik RLda muhit statik (o‘zgarmas) deb hisoblanadi, ammo multi-agent RLda boshqalar agentlarning siyosati doimiy yangilanib boradi, bu o‘rganishda barqarorlikni pasaytiradi va algoritmlarning konvergentsiyasini qiyinlashtiradi.

Bu vazifani murakkablashtiradi, chunki:

• Agent muhit xulq-atvorini doimiy deb hisoblay olmaydi.
• An’anaviy qiymat va siyosat baholash usullari samarali bo‘lmasligi mumkin.
• Agentlar o‘rtasida moslashuvchanlik va hamkorlikni hisobga olish zarur.

Buning yechimi uchun, o‘zaro ta’sirlarni hisobga oladigan usullar qo‘llanadi, masalan, umumiy siyosat bilan o‘rganish, boshqalar agentlarning xulq-atvor modellari yoki markazlashtirilgan o‘qitish va decentralizatsiyalashgan bajarish bilan o‘qitish.