¿Qué es un decision transformer y cómo convierte RL en aprendizaje supervisado?

Decision Transformer es un enfoque en Aprendizaje por Refuerzo (RL) que formula la tarea de entrenamiento del agente como un problema de aprendizaje supervisado. En lugar de aprender a través de la interacción con el entorno y la actualización de la política basada en recompensas, Decision Transformer se entrena con datos históricos (trayectorias) usando una arquitectura de transformador.

Idea principal:

• La entrada del modelo son secuencias de estados, acciones y recompensas objetivo (return-to-go).
• El modelo aprende a predecir la siguiente acción, considerando el nivel deseado de recompensa.

De esta manera, la tarea de RL se reduce a predecir la siguiente acción basada en precedentes, lo que permite usar métodos de aprendizaje supervisado, entrenando el transformador con datos recopilados previamente sin necesidad de aprendizaje interactivo.

Esto permite:

• Utilizar grandes conjuntos de datos sin interacción en línea.
• Entrenar modelos capaces de generalizar y planificar.

Aproximadamente, Decision Transformer toma como entrada:

(states, actions, returns_to_go) -> next_action

y se entrena para minimizar el error en la predicción de la acción.