Qu'est-ce qu'un decision transformer et comment il convertit RL en apprentissage supervisé?

Decision Transformer est une approche en apprentissage par renforcement (RL) qui formule la tâche d'apprentissage de l'agent comme un problème d'apprentissage supervisé. Au lieu d'apprendre par interaction avec l'environnement et mise à jour de la politique basée sur les récompenses, Decision Transformer s'entraîne sur des données historiques (trajectoires) en utilisant une architecture de transformateur.

Idée principale :

• L'entrée du modèle est constituée de séquences d'états, d'actions et de récompenses cibles (return-to-go).
• Le modèle apprend à prédire l'action suivante en tenant compte du niveau de récompense souhaité.

Ainsi, la tâche de RL se réduit à prédire l'action suivante à partir de précédents, ce qui permet d'utiliser des méthodes d'apprentissage supervisé, en entraînant le transformateur sur des données préalablement collectées sans besoin d'apprentissage interactif.

Cela permet :

• D'utiliser de grands ensembles de données sans interaction en ligne.
• D'entraîner des modèles capables de généraliser et de planifier.

Environ, Decision Transformer prend en entrée :

(states, actions, returns_to_go) -> next_action

et s'entraîne à minimiser l'erreur de prédiction de l'action.