Markov Karar Süreci (MDP) nedir ve bileşenleri nelerdir?

MDP (Markov Karar Süreci) — belirsizlik koşullarında karar verme sürecini tanımlayan matematiksel bir modeldir ve pek çok pekiştirmeli öğrenme görevinde yaygın olarak kullanılır.

MDP'nin temel bileşenleri:

• S (Durumlar) — ajanın bulunabileceği durumlar kümesi.
• A (Eylemler) — ajanın gerçekleştirebileceği eylemler kümesi.
• P (Geçiş Olasılığı) — belirli bir eylem gerçekleştirildiğinde bir durumdan diğerine geçiş olasılıklarını belirten fonksiyon, genellikle P(s'|s,a) şeklinde gösterilir.
• R (Ödül Fonksiyonu) — s durumundan s' durumuna geçişte a eylemiyle alınan sayısal ödülü belirleyen fonksiyon.
• γ (İndirim Faktörü) — gelecekteki ödüllerin şu anki ödüllere göre önemini belirleyen indirim katsayısı.

MDP, ajanların toplam beklenen ödülü maksimize etmek için eylemler seçtiği karar verme sürecini formalize eder.