Что такое MDP (Markov Decision Process) и какие у него компоненты?

MDP (Markov Decision Process) — это математическая модель для описания принятия решений в условиях неопределённости, широко используемая в задачах обучения с подкреплением.

Основные компоненты MDP:

• S (States) — множество состояний, в которых может находиться агент.
• A (Actions) — множество действий, которые агент может выполнять.
• P (Transition Probability) — функция вероятностей перехода из одного состояния в другое при выполнении определённого действия, обычно обозначается как P(s'|s,a).
• R (Reward Function) — функция вознаграждения, которая определяет числовое вознаграждение за переход из состояния s в s' при действии a.
• γ (Discount Factor) — коэффициент дисконтирования, определяющий важность будущих вознаграждений по сравнению с текущими.

MDP формализует процесс принятия решений, где агент выбирает действия, чтобы максимизировать суммарное ожидаемое вознаграждение.