Что такое inverse RL?

Inverse Reinforcement Learning (обратное обучение с подкреплением) — это метод в машинном обучении, где задача состоит в том, чтобы по наблюдаемому поведению агента (эксперта) восстановить функцию вознаграждения, которую этот агент, предположительно, оптимизирует.

В классическом RL мы знаем функцию вознаграждения и ищем оптимальную стратегию. В inverse RL наоборот: по оптимальному поведению пытаемся понять, что именно агент пытается максимизировать. Это полезно, когда функция вознаграждения сложна для явного задания, но есть примеры хорошего поведения.

Пример: робот учится ходить, но вместо того, чтобы вручную задавать, что такое «хорошее» движение, мы показываем ему примеры движений человека, а inverse RL восстанавливает функцию вознаграждения, объясняющую эти движения.