Что такое SAC (Soft Actor-Critic) и зачем maximum entropy RL?

Soft Actor-Critic (SAC) — это алгоритм обучения с подкреплением, относящийся к семейству off-policy методов с непрерывным пространством действий. Его ключевая особенность — использование максимизации энтропии (maximum entropy RL).

Что такое SAC?

• SAC обучает политику, которая максимизирует не только ожидаемую награду, но и энтропию поведения агента.
• Это приводит к более исследовательскому поведению и устойчивости к локальным минимумам.
• SAC использует два критика (value-функции) для снижения смещения и стабилизации обучения.

Зачем нужна максимальная энтропия?

• Максимизация энтропии поощряет агента выбирать более случайные действия, что улучшает исследование среды.
• Это помогает избежать преждевременной сходимости к субоптимальным стратегиям.
• В итоге агент учится более устойчивой и разнообразной политике.

Таким образом, SAC сочетает эффективность off-policy методов с преимуществами стохастического поведения, что делает его мощным инструментом для сложных задач RL с непрерывными действиями.