Kas ir multi-agent RL un kādas ir tās problēmas ar non-stationarity?

Daudzagentu pastiprinājuma mācīšanās (multi-agent RL) ir stiprinājuma mācīšanās joma, kurā vairākas aģenti vienlaikus mijiedarbojas ar vidi un mācas pieņemt lēmumus. Katrs aģents cenšas maksimizēt savu atlīdzību, kamēr citu aģentu uzvedība ietekmē vides dinamiku.

Nestacionaritātes problēma rodas tāpēc, ka katra aģenta vide laika gaitā mainās, jo mācās un mainās citu aģentu stratēģijas. Klasiskajā RL vide tiek uzskatīta par stacionāru (nemainīgu), bet multi-agent RL, citu aģentu politika tiek pastāvīgi atjaunināta, kas noved pie mācīšanās nestabilitātes un algoritmu konverģences grūtībām.

Tas sarežģī uzdevumu, jo:

• Aģents nevar uzskatīt vides uzvedību par fiksētu.
• Tradicionālās vērtēšanas un politikas metodes var būt neefektīvas.
• Ir jāņem vērā pielāgošanās spējas un koordinācija starp aģentiem.

Lai risinātu šo, tiek izmantotas metodes, kas ņem vērā mijiedarbības, piemēram, kopīgas politikas mācīšanās, citu aģentu uzvedības modeļu izmantošana vai mācīšanās ar centralizētu apmācību un decentralizētu izpildi.