Decision transformer деген эмне жана ал RLди көзөмөлдүү үйрөнүүгө кантип айлантат?

Decision Transformer — бул Reinforcement Learning (RL) ыкмасы, ал агентти үйрөтүү тапшырмасын көзөмөлдөнгөн үйрөнүү маселеси катары формулалайт. Традициялык үйрөнүү аркылуу чөйрө менен өз ара аракеттенүү жана сыйлыктарга негизделген саясатты жаңылоо ордуна, Decision Transformer тарыхый маалыматтар (траекториялар) боюнча transformer архитектурасы менен үйрөтүлөт.

Негизги идея:

• Моделдин кириши — абалдар, аракеттер жана максаттуу сыйлыктар (return-to-go) үзүндүлөрү.
• Модель каалаган сыйлык деңгээнин эске алуу менен кийинки аракетти алдын ала айтат.

Ушул жол менен, RL тапшырмасы алдын ала чогултулган маалыматтарга негизделген кийинки аракетти алдын ала болжау маселесине айланат, бул көзөмөлдөнгөн үйрөнүү ыкмаларын колдонууга мүмкүндүк берет, трансформер алдын ала чогултулган маалыматтарда үйрөтүлөт жана интерактивдүү үйрөнүү талап кылынбайт.

Бул мүмкүнчүлүк берет:

• Онлайн өз ара аракеттенүү жок чоң маалымат топтомдорун колдонуу.
• Жалпылоо жана пландаштыруу жөндөмдүү моделдерди үйрөтүү.

Жалпысынан, Decision Transformer кириш катары төмөнкүлөрдү кабыл алат:

(states, actions, returns_to_go) -> next_action

жана аракетти алдын ала болжауу катасын минималдаштырууга үйрөтүлөт.