Mi az a decision transformer, és hogyan alakítja át az RL-t felügyelt tanulássá?

A Decision Transformer egy megközelítés a megerősítő tanulásban (RL), amely az ügynök tanítási feladatát felügyelt tanulási problémaként fogalmazza meg. Ahelyett, hogy a környezettel való interakció és a politika frissítése alapján tanulna, a Decision Transformer történeti adatokon (trajektóriákon) keresztül tanul transformer architektúrával.

Fő ötlet:

• A modell bemenete állapotok, műveletek és célzott jutalmak (return-to-go) sorozatai.
• A modell megtanulja előre jelezni a következő műveletet, figyelembe véve a kívánt jutalomszintet.

Így az RL feladat az előzmények alapján történő következő művelet előrejelzésére redukálódik, lehetővé téve felügyelt tanulási módszerek alkalmazását, a transformert előre összegyűjtött adatokon tanítva, interaktív tanulás nélkül.

Ez lehetővé teszi:

• Nagy adathalmazok használatát online interakció nélkül.
• Általánosító és tervezőképes modellek tanítását.

Körülbelül a Decision Transformer bemenetként fogadja:

(states, actions, returns_to_go) -> next_action

és a művelet előrejelzési hibájának minimalizálására tanítják.