Čo je decision transformer a ako prevádza RL na učenie s učiteľom?

Decision Transformer je prístup v Reinforcement Learning (RL), ktorý formuluje úlohu tréningu agenta ako problém supervised learning. Namiesto učenia prostredníctvom interakcie s prostredím a aktualizácie politiky na základe odmien, Decision Transformer sa trénuje na historických dátach (trajectóriách) pomocou architektúry transformer.

Hlavná myšlienka:

• Vstupom modelu sú sekvencie stavov, akcií a cieľových odmien (return-to-go).
• Model sa učí predpovedať nasledujúcu akciu s ohľadom na požadovanú úroveň odmeny.

Tým sa úloha RL zjednodušuje na predpoveď nasledujúcej akcie na základe predchádzajúcich, čo umožňuje použitie metód supervised learning, trénovaním transformera na predtým zozbieraných dátach bez potreby interaktívneho učenia.

To umožňuje:

• Použitie veľkých dátových súborov bez online interakcie.
• Tréning modelov schopných generalizácie a plánovania.

Približne Decision Transformer prijíma ako vstup:

(states, actions, returns_to_go) -> next_action

a je trénovaný tak, aby minimalizoval chybu predpovede akcie.