Çok ajanlı pekiştirmeli öğrenme nedir ve onun non-stationarity sorunları nelerdir?

Çok ajanlı pekiştirmeli öğrenme (multi-agent RL), bir ortamda aynı anda etkileşime giren birkaç ajan tarafından öğrenilen bir pekiştirmeli öğrenme alanıdır. Her ajan, kendi ödülünü maksimize etmeye çalışırken, diğer ajanların davranışları ortamın dinamiğini etkiler.

Non-stationarity (kararsızlık) sorunu, her ajan için ortamın zamanla değişmesi nedeniyle ortaya çıkar; bu, diğer ajanların stratejilerindeki değişiklikler ve öğrenme süreci nedeniyle olur. Klasik RL'de ortam durağan kabul edilir (değişmez), ancak multi-agent RL'de diğer ajanların politikası sürekli güncellenir, bu da öğrenmede istikrarsızlığa ve algoritmaların yakınsamasının zorlaşmasına neden olur.

Bu durum görevi zorlaştırır çünkü:

• Ajan, ortam davranışını sabit olarak kabul edemez.
• Geleneksel değer ve politika değerlendirme yöntemleri etkisiz olabilir.
• Ajanlar arasında uyum ve uyarlanabilirliği dikkate almak gerekir.

Bunun çözümü için, etkileşimleri dikkate alan yöntemler kullanılır; örneğin, ortak politika ile öğrenme, diğer ajanların davranış modellerinin kullanılması veya merkeziyetçi eğitim ve dağıtık yürütme ile eğitim gibi yöntemler.