Какво е decision transformer и как превръща RL в обучение с учител?

Decision Transformer е подход в Reinforcement Learning (RL), който формулира задачата за обучение на агента като задача за supervised learning. Вместо традиционно обучение чрез взаимодействие с околната среда и актуализиране на политиката въз основа на наградите, Decision Transformer се обучава върху исторически данни (траектории) с помощта на трансформерна архитектура.

Основна идея:

• Входът към модела са последователности от състояния, действия и целеви награди (return-to-go).
• Моделът се учи да предсказва следващото действие, като взема предвид желаното ниво на наградата.

По този начин, задачата в RL се свежда до предсказване на следващото действие въз основа на предходните, което позволява използването на методи за supervised learning, като обучава трансформера върху предварително събрани данни без необходимост от интерактивно обучение.

Това позволява:

• Използване на големи набори от данни без онлайн взаимодействие.
• Обучение на модели, способни да обобщават и планират.

Приблизително, Decision Transformer приема като вход:

(states, actions, returns_to_go) -> next_action

и се обучава да минимизира грешката при предсказване на действието.