Ի՞նչ է decision transformer-ը և ինչպես է այն փոխում RL-ը հսկող ուսուցման:

Decision Transformer-ը Reinforcement Learning (RL)-ի մոտեցում է, որը ձևակերպում է գործառույթի ուսուցման խնդիրը որպես հսկողության ուսուցման խնդիր: Փոխարենը սովորել միջավայրի հետ փոխազդեցության միջոցով և քաղաքականությունը թարմացնել մրցանակների հիման վրա, Decision Transformer-ը ուսուցանվում է պատմական տվյալների (տրաժեկտորիաների) վրա՝ օգտագործելով transformer արխիտեկտուրա:

Հիմնական գաղափարը՝

• Մոդելի մուտքն են վիճակների, գործողությունների և նպատակային մրցանակների (return-to-go) հաջորդականությունները:
• Մոդելը սովորում է կանխատեսել հաջորդ գործողությունը՝ հաշվի առնելով ցանկալի մրցանակի մակարդակը:

Այսպիսով, RL գործառույթը վերածվում է նախորդների վրա հիմնված հաջորդ գործողության կանխատեսման, ինչը թույլ է տալիս օգտագործել հսկողության ուսուցման մեթոդներ՝ ուսուցանելով transformer-ը նախապես հավաքված տվյալների վրա՝ առանց ինտերակտիվ ուսուցման:

Սա թույլ է տալիս՝

• օգտագործել մեծ տվյալների հավաքածուներ՝ առանց օնլայն փոխազդեցության,
• ուսուցանել մոդելներ, որոնք կարող են գեներալիզացնել և պլանավորել:

Մոտավոր, Decision Transformer-ը ընդունում է որպես մուտք՝

(states, actions, returns_to_go) -> next_action

և ուսուցանվում է նվազեցնելու գործողության կանխատեսման սխալը։