O que é um decision transformer e como ele converte RL em aprendizagem supervisionada?

O Decision Transformer é uma abordagem em Aprendizagem por Reforço (RL) que formula a tarefa de treinar o agente como um problema de aprendizagem supervisionada. Em vez de aprender através da interação com o ambiente e atualização da política com base em recompensas, o Decision Transformer é treinado com dados históricos (trajectórias) usando uma arquitetura de transformador.

Ideia principal:

• A entrada do modelo são sequências de estados, ações e recompensas alvo (return-to-go).
• O modelo aprende a prever a próxima ação, considerando o nível desejado de recompensa.

Assim, a tarefa de RL reduz-se a prever a próxima ação com base em precedentes, permitindo o uso de métodos de aprendizagem supervisionada, treinando o transformador com dados previamente coletados sem necessidade de aprendizagem interativa.

Isto permite:

• Utilizar grandes conjuntos de dados sem interação online.
• Treinar modelos capazes de generalizar e planejar.

Aproximadamente, o Decision Transformer aceita como entrada:

(states, actions, returns_to_go) -> next_action

e treina para minimizar o erro na previsão da ação.