Decision transformer nima va u RLni nazoratli o'rganishga qanday o'tkazadi?

Decision Transformer — bu Reinforcement Learning (RL) yondashuvi bo‘lib, agentni o‘qitish vazifasini nazoratli o‘rganish muammosi sifatida ifodalaydi. An'anaviy tarzda muhit bilan o‘zaro ta'sir qilish va mukofotlar asosida siyosatni yangilash o‘rniga, Decision Transformer tarixiy ma'lumotlar (trajektoriyalar) asosida transformer arxitekturasi yordamida o‘qitiladi.

Asosiy g‘oya:

• Modelga kirish ketma-ketliklar shaklida bo‘lgan holatlar, harakatlar va maqsadli mukofotlar (return-to-go) kiradi.
• Model istalgan mukofot darajasini hisobga olgan holda keyingi harakatni bashorat qilishni o‘rganadi.

Shunday qilib, RL vazifasi oldingi ma'lumotlarga asoslangan holda keyingi harakatni bashorat qilish vazifasiga aylantiriladi, bu esa nazoratli o‘rganish usullaridan foydalanishga imkon beradi, transformer oldindan to‘plangan ma'lumotlar asosida o‘qitiladi va interaktiv o‘qitishga ehtiyoj qolmaydi.

Bu quyidagilarni imkonini beradi:

• Onlayn interaksiya bo‘lmagan holda katta ma'lumotlar to‘plamlaridan foydalanish.
• Umumiylashtirish va rejalashtirish qobiliyatiga ega modellarni o‘qitish.

Taxminan, Decision Transformer quyidagilarni qabul qiladi:

(states, actions, returns_to_go) -> next_action

va harakatni bashorat qilish xatosini minimallashtirish uchun o‘qitiladi.