Czym jest decision transformer i jak zamienia RL na uczenie nadzorowane?

Decision Transformer to podejście w Reinforcement Learning (RL), które formułuje zadanie uczenia agenta jako problem uczenia nadzorowanego. Zamiast uczyć się poprzez interakcję z otoczeniem i aktualizację polityki na podstawie nagród, Decision Transformer jest trenowany na danych historycznych (trajectoriach) za pomocą architektury transformera.

Główna idea:

• Wejściem modelu są sekwencje stanów, działań i docelowych nagród (return-to-go).
• Model uczy się przewidywać kolejne działanie, uwzględniając pożądany poziom nagrody.

W ten sposób, zadanie RL sprowadza się do przewidywania kolejnego działania na podstawie precedensów, co pozwala na użycie metod uczenia nadzorowanego, trenując transformera na wcześniej zebranych danych bez konieczności uczenia interaktywnego.

To umożliwia:

• Użycie dużych zbiorów danych bez interakcji online.
• Trenowanie modeli zdolnych do generalizacji i planowania.

Przykładowo, Decision Transformer przyjmuje na wejście:

(states, actions, returns_to_go) -> next_action

i jest trenowany w celu minimalizacji błędu przewidywania działania.