Çox agentli RL nədir və onun non-stationarity problemləri nələrdir?

Çox agentli gücləndirmə öyrənməsi (multi-agent RL) — bu, bir mühitdə eyni zamanda bir neçə agentin qarşılıqlı əlaqədə olduğu və qərar qəbul etməyi öyrəndiyi öyrənmə sahəsidir. Hər bir agent öz mükafatını maksimuma çatdırmağa çalışır, digər agentlərin davranışları mühitin dinamikasına təsir edir.

Non-stasionarlıq problemi, hər bir agent üçün mühitin zamanla dəyişməsi və digər agentlərin strategiyalarındakı dəyişikliklər səbəbindən yaranır. Klassik RL-də mühit stasionar (dəyişməz) sayılır, amma multi-agent RL-də digər agentlərin siyasəti daim yenilənir, bu da öyrənmədə stabilliyi azaldır və alqoritmlərin yaxınlaşmasını çətinləşdirir.

Bu, vəzifəni çətinləşdirir, çünki:

• Agent mühitin davranışını sabit kimi qəbul edə bilməz.
• Ənənəvi qiymətləndirmə və siyasət metodları effektiv olmaya bilər.
• Agentlər arasında uyğunlaşma və koordinasiyanı nəzərə almaq lazımdır.

Bunun həlli üçün, qarşılıqlı əlaqələri nəzərə alan metodlar istifadə olunur, məsələn, birgə siyasətlə öyrənmə, digər agentlərin davranış modellərinin istifadəsi və ya mərkəzləşdirilmiş öyrənmə və desentralizasiya ilə icra.