რა არის decision transformer და როგორ გარდაქმნის ის RL-ს ზედამხედველობით სწავლაში?

Decision Transformer არის მიდგომა Reinforcement Learning (RL)-ში, რომელიც ფორმულირებს აგენტის სწავლების დავალებას როგორც ზედამხედველობითი სწავლების პრობლემას. ნაცვლად იმისა, რომ ისწავლოს გარემოსთან ურთიერთობით და პოლიტიკის განახლებით ჯილდოების საფუძველზე, Decision Transformer-ი სწავლობს ისტორიული მონაცემების (ტრაექტორიების) საფუძველზე transformer არქიტექტურით.

ძირითადი იდეა:

• მოდელის შესავალია მდგომარეობების, მოქმედებების და მიზნობრივი ჯილდოების (return-to-go) მიმდევრობით.
• მოდელი სწავლობს წინასწარ თქვას შემდეგი მოქმედება, განიხილავს სასურველ ჯილდოს დონეს.

ამ გზით, RL დავალება იკლებს წინასწარ განსაზღვრულ მონაცემებზე დაფუძნებული შემდეგი მოქმედების პროგნოზირებაზე, რაც საშუალებას აძლევს გამოიყენოს ზედამხედველობითი სწავლების მეთოდები, ტრანსფორმერის სწავლება წინასწარ შეგროვილ მონაცემებზე, ინტერკტივული სწავლების გარეშე.

ეს საშუალებას აძლევს:

• გამოიყენოს დიდი მონაცემთა ნაკადები ონლაინ ურთიერთქმედების გარეშე.
• ტრენინგი მოდელების, რომლებიც შეძლებენ გენერალიზაციას და დაგეგმვას.

დაახლოებით, Decision Transformer იღებს როგორც შესავალს:

(states, actions, returns_to_go) -> next_action

და ის სწავლება ხდება მოქმედების პროგნოზირების შეცდომის მინიმიზაციისთვის.