Wat is een decision transformer en hoe zet het RL om in supervised learning?

Decision Transformer is een aanpak in Reinforcement Learning (RL) die de leeropdracht van een agent formuleert als een supervised learning probleem. In plaats van te leren door interactie met de omgeving en het bijwerken van het beleid op basis van beloningen, wordt Decision Transformer getraind op historische gegevens (trajecten) met behulp van een transformer-architectuur.

Belangrijkste idee:

• De invoer van het model bestaat uit sequenties van staten, acties en doelbeloningen (return-to-go).
• Het model leert de volgende actie te voorspellen, rekening houdend met het gewenste beloningsniveau.

Op deze manier wordt de RL-taak gereduceerd tot het voorspellen van de volgende actie op basis van precedenten, wat het gebruik van supervised learning-methoden mogelijk maakt, door de transformer te trainen op vooraf verzamelde gegevens zonder interactieve training.

Dit stelt in staat:

• Grote datasets te gebruiken zonder online interactie.
• Modellen te trainen die kunnen generaliseren en plannen.

Ongeveer neemt Decision Transformer als invoer:

(states, actions, returns_to_go) -> next_action

en wordt getraind om de voorspellingsfout van de actie te minimaliseren.