Что такое TRPO и идея trust region?

TRPO (Trust Region Policy Optimization) — это алгоритм обучения с подкреплением, который оптимизирует политику агента, гарантируя, что обновления политики не будут слишком большими и не приведут к резкому ухудшению производительности.

Идея trust region (доверительной области) заключается в ограничении размера шага обновления политики в пространстве параметров, чтобы новые параметры политики не отличались слишком сильно от старых. Это помогает избежать нестабильности и резких скачков в поведении агента.

В TRPO оптимизация формулируется как задача максимизации ожидаемой награды при ограничении на дивергенцию Кульбака-Лейблера (KL-дивергенция) между старой и новой политикой:

[ \max_\theta \mathbb{E}{s,a \sim \pi{old}} \left[ \frac{\pi_\theta(a|s)}{\pi_{old}(a|s)} A^{\pi_{old}}(s,a) \right] \quad \text{при условии} \quad D_{KL}(\pi_{old} || \pi_\theta) \leq \delta ]

где (A^{\pi_{old}}(s,a)) — функция преимущества, (\delta) — порог доверительной области.

Это позволяет делать более стабильные и надежные обновления политики по сравнению с простыми градиентными методами.