Ce este un decision transformer și cum convertește RL în învățare supravegheată?

Decision Transformer este o abordare în Reinforcement Learning (RL) care formulează sarcina de antrenare a agentului ca o problemă de învățare supravegheată. În loc să învețe prin interacțiune cu mediul și actualizarea politicii pe baza recompenselor, Decision Transformer este antrenat pe date istorice (traiectorii) folosind o arhitectură de transformator.

Ideea principală:

• Intrarea modelului sunt secvențe de stări, acțiuni și recompense țintă (return-to-go).
• Modelul învață să prezică următoarea acțiune, luând în considerare nivelul dorit de recompensă.

Astfel, sarcina RL se reduce la prezicerea următoarei acțiuni pe baza precedentelor, ceea ce permite utilizarea metodelor de învățare supravegheată, antrenând transformatorul pe date colectate anterior fără necesitatea învățării interactive.

Acest lucru permite:

• Utilizarea unor seturi mari de date fără interacțiune online.
• Antrenarea modelelor capabile de generalizare și planificare.

Practic, Decision Transformer primește ca intrare:

(states, actions, returns_to_go) -> next_action

și este antrenat pentru a minimiza eroarea de prezicere a acțiunii.