Kas ir decision transformer un kā tas pārvērš RL uz uzraudzītu mācīšanos?

Decision Transformer ir pieeja Reinforcement Learning (RL), kas formulē uzdevumu aģenta apmācībai kā uzraudzīta mācīšanās problēmu. Tā vietā, lai mācītos caur mijiedarbību ar vidi un politikas atjaunināšanu, balstoties uz atlīdzībām, Decision Transformer tiek apmācīts uz vēsturiskajiem datiem (trajektoriem), izmantojot transformatora arhitektūru.

Galvenā ideja:

• Modeļa ievads ir secības stāvokļu, darbību un mērķa atlīdzību (return-to-go).
• Modelis mācas prognozēt nākamo darbību, ņemot vērā vēlamo atlīdzības līmeni.

Tādējādi RL uzdevums tiek samazināts līdz nākamās darbības prognozēšanai, balstoties uz iepriekšējiem, ļaujot izmantot uzraudzītas mācīšanās metodes, apmācot transformatoru uz iepriekš savāktajiem datiem bez interaktīvas mācīšanās nepieciešamības.

Tas ļauj:

• izmantot lielus datu kopumus bez tiešas mijiedarbības,
• apmācīt modeļus, kas spēj vispārināt un plānot.

Apmēram, Decision Transformer pieņem kā ievadi:

(states, actions, returns_to_go) -> next_action

un tiek apmācīts, lai samazinātu darbības prognozēšanas kļūdu.