Что такое offline RL и какие у него подводные камни?

Offline Reinforcement Learning (offline RL) — это подход к обучению агента на заранее собранных данных (логах взаимодействия с окружением), без возможности дополнительного взаимодействия с реальной средой во время обучения.

Основная идея — использовать большой набор исторических данных для обучения политики, что полезно, когда онлайн взаимодействие дорогостоящее, опасное или невозможно.

Подводные камни offline RL:

• Смещение распределения (distributional shift): данные собраны по одной политике, а агент пытается обучиться другой. Это может привести к ошибкам, если агент будет делать действия, которые плохо представлены в данных.
• Проблема обобщения: агент может переобучиться на данные и плохо работать в реальной среде.
• Ограниченность данных: если в данных нет примеров определённых действий или состояний, агент не сможет научиться правильно их обрабатывать.
• Оценка политики: сложно оценить качество новой политики без онлайн тестирования.

Для решения этих проблем применяют методы регуляризации, ограничения политики (policy constraints), и специальные алгоритмы, учитывающие распределение данных.

Пример: обучение робота на заранее записанных данных с сенсоров без возможности повторного эксперимента в реальном времени.