Was ist ein Decision Transformer und wie wandelt er RL in überwachten Lernen um?

Decision Transformer ist ein Ansatz im Reinforcement Learning (RL), der die Lernaufgabe des Agenten als eine überwachte Lernaufgabe formuliert. Anstatt durch Interaktion mit der Umgebung zu lernen und die Politik anhand von Belohnungen zu aktualisieren, wird der Decision Transformer anhand historischer Daten (Trajektorien) mit einer Transformer-Architektur trainiert.

Hauptidee:

• Die Eingabe des Modells sind Sequenzen von Zuständen, Aktionen und Zielbelohnungen (return-to-go).
• Das Modell lernt, die nächste Aktion vorherzusagen, wobei das gewünschte Belohnungsniveau berücksichtigt wird.

Auf diese Weise wird die RL-Aufgabe auf die Vorhersage der nächsten Aktion anhand von Vorgängern reduziert, was die Verwendung von überwachten Lernmethoden ermöglicht, indem der Transformer auf zuvor gesammelten Daten trainiert wird, ohne interaktives Lernen.

Dies ermöglicht:

• Die Nutzung großer Datensätze ohne Online-Interaktion.
• Das Training von Modellen, die generalisieren und planen können.

Ungefähr nimmt der Decision Transformer als Eingabe:

(states, actions, returns_to_go) -> next_action

und wird trainiert, um den Vorhersagefehler der Aktion zu minimieren.