Cos'è un decision transformer e come trasforma RL in apprendimento supervisionato?

Decision Transformer è un approccio nel Reinforcement Learning (RL) che formula il compito di addestramento dell'agente come un problema di apprendimento supervisionato. Invece di apprendere attraverso l'interazione con l'ambiente e l'aggiornamento della politica basato sulle ricompense, il Decision Transformer viene addestrato su dati storici (traiettorie) utilizzando un'architettura di transformer.

Idea principale:

• L'input del modello sono sequenze di stati, azioni e ricompense target (return-to-go).
• Il modello impara a prevedere la prossima azione considerando il livello desiderato di ricompensa.

In questo modo, il compito di RL si riduce alla previsione della prossima azione basata su precedenti, consentendo l'uso di metodi di apprendimento supervisionato, addestrando il transformer su dati raccolti in precedenza senza necessità di apprendimento interattivo.

Ciò permette:

• Di utilizzare grandi set di dati senza interazione online.
• Di addestrare modelli capaci di generalizzare e pianificare.

Approssimativamente, il Decision Transformer prende in input:

(states, actions, returns_to_go) -> next_action

e viene addestrato a minimizzare l'errore di previsione dell'azione.