Mis on decision transformer ja kuidas see muudab RL juhendatud õppeks?

Decision Transformer on lähenemine Reinforcement Learningis (RL), mis formuleerib agendi õppimise ülesande juhendatud õppimise probleemina. Selle asemel, et õppida läbi keskkonnaga suhtlemise ja poliitika uuendamise põhjal preemiatel, treenitakse Decision Transformer ajalooliste andmete (trajektooride) põhjal, kasutades transformer-arkitektuuri.

Peamine idee:

• Mudeli sisendiks on järjestused olekutest, tegevustest ja sihitud preemiatest (return-to-go).
• Mudel õpib ennustama järgmist tegevust, võttes arvesse soovitud preemia taset.

Sel viisil vähendatakse RL ülesanne järgmise tegevuse ennustamisele eelnevate põhjal, võimaldades kasutada juhendatud õppimise meetodeid, treenides transformerit eelnevalt kogutud andmetel ilma interaktiivse õppimiseta.

See võimaldab:

• kasutada suuri andmekogusid ilma online-interaktsioonita,
• treenida mudeleid, mis suudavad üldistada ja plaanida.

Umbes võtab Decision Transformer sisendiks:

(states, actions, returns_to_go) -> next_action

ja treenitakse minimeerima tegevuse ennustamise viga.