Decision transformer nədir və o, RL-ni nəzarətli öyrənməyə necə çevirir?

Decision Transformer — Reinforcement Learning (RL) sahəsində yanaşmadır və agentin öyrənmə tapşırığını nəzarətli öyrənmə problemi kimi formulə edir. Ənənəvi olaraq, ətraf mühitlə qarşılıqlı əlaqə və mükafatlara əsaslanan siyasətin yenilənməsi ilə öyrənmək əvəzinə, Decision Transformer tarixi məlumatlar (traektoriyalar) üzərində transformer arxitekturası ilə öyrədilir.

Əsas fikir:

• Modelin girişləri vəziyyətlər, hərəkətlər və hədəf mükafatlar (return-to-go) ardıcıllıqlarıdır.
• Model, arzu olunan mükafat səviyyəsini nəzərə alaraq növbəti hərəkəti proqnozlaşdırmağı öyrənir.

Beləliklə, RL tapşırığı əvvəlki nümunələrə əsaslanaraq növbəti hərəkəti proqnozlaşdırma vəzifəsinə çevrilir, bu da nəzarətli öyrənmə metodlarından istifadə etməyə imkan verir, transformer əvvəlcədən toplanmış məlumatlar üzərində öyrədilir və interaktiv öyrənməyə ehtiyac olmur.

Bu aşağıdakıları təmin edir:

• Onlayn qarşılıqlı əlaqə olmadan böyük məlumat dəstlərindən istifadə.
• Ümumişləşdirmə və planlaşdırma qabiliyyətinə malik modellərin öyrədilməsi.

Təxminən, Decision Transformer giriş kimi aşağıdakıları qəbul edir:

(states, actions, returns_to_go) -> next_action

və hərəkətin proqnozlaşdırma səhvini minimallaşdırmaq üçün öyrədilir.