Šta je decision transformer i kako on pretvara RL u nadzirano učenje?

Decision Transformer je pristup u Reinforcement Learning (RL) koji formulira zadatak obuke agenta kao problem nadziranog učenja. Umesto da uči putem interakcije sa okruženjem i ažuriranja politike na osnovu nagrada, Decision Transformer se trenira na istorijskim podacima (trajektorijama) koristeći arhitekturu transformatora.

Glavna ideja:

• Ulaz modela su sekvence stanja, akcija i ciljanih nagrada (return-to-go).
• Model uči da predviđa sledeću akciju uzimajući u obzir željeni nivo nagrade.

Na taj način, RL zadatak se svodi na predviđanje sledeće akcije na osnovu prethodnih, što omogućava korišćenje metoda nadziranog učenja, treniranjem transformatora na prethodno prikupljenim podacima bez potrebe za interaktivnim učenjem.

Ovo omogućava:

• Korišćenje velikih skupova podataka bez online interakcije.
• Trening modela koji su sposobni za generalizaciju i planiranje.

Otprilike, Decision Transformer prima kao ulaz:

(states, actions, returns_to_go) -> next_action

i trenira se da minimizira grešku u predviđanju akcije.