В чём разница между on-policy и off-policy алгоритмами?

On-policy и off-policy — это два подхода в обучении с подкреплением, которые отличаются тем, какую стратегию (policy) они используют для обучения и сбора данных.

• On-policy алгоритмы обучаются и оценивают стратегию, которая используется для выбора действий. То есть агент учится на опыте, полученном при следовании текущей стратегии. Пример: алгоритм SARSA.

• Off-policy алгоритмы обучаются на опыте, собранном с помощью одной стратегии, но обучают другую стратегию. Это позволяет использовать данные, полученные от другой политики или даже из истории. Пример: алгоритм Q-learning.

Пример: если агент исследует среду с помощью стратегии ε-жадного выбора (exploration), то on-policy алгоритм будет обновлять значения для именно этой стратегии, а off-policy может обучаться на данных, собранных с ε-жадной стратегии, но обновлять значения для оптимальной (жадной) стратегии.

Таким образом, основное различие — в том, обучается ли агент на данных, полученных от той же стратегии, которую он улучшает (on-policy), или на данных, полученных от другой стратегии (off-policy).