Что такое decision transformer и как он переводит RL в supervised learning?

Decision Transformer — это подход в Reinforcement Learning (RL), который формулирует задачу обучения агента как задачу supervised learning. Вместо традиционного обучения через взаимодействие с окружением и обновление политики на основе наград, Decision Transformer обучается на исторических данных (трассах) с помощью трансформерной архитектуры.

Основная идея:

• Входом модели служат последовательности состояний, действий и целевых вознаграждений (return-to-go).
• Модель учится предсказывать следующее действие, учитывая желаемый уровень вознаграждения.

Таким образом, RL задача сводится к задаче предсказания следующего действия по прецедентам, что позволяет использовать методы supervised learning, обучая трансформер на заранее собранных данных без необходимости интерактивного обучения.

Это позволяет:

• Использовать большие наборы данных без онлайн взаимодействия.
• Обучать модели, способные к обобщению и планированию.

Примерно, Decision Transformer принимает на вход:

(states, actions, returns_to_go) -> next_action

и обучается минимизировать ошибку предсказания действия.