Decision transformer nedir ve RL'yi nasıl denetimli öğrenmeye dönüştürür?

Decision Transformer, Takip Öğrenimi (RL) alanında bir yaklaşımdır ve ajan eğitim görevini denetimli öğrenme problemi olarak formüle eder. Geleneksel olarak çevreyle etkileşim kurarak ve ödüllere göre politika güncelleyerek öğrenmek yerine, Decision Transformer, tarihsel veriler (yolculuklar) üzerinde transformer mimarisi kullanarak eğitilir.

Ana fikir:

• Modelin girdisi, durumlar, eylemler ve hedef ödüller (return-to-go) dizileridir.
• Model, istenen ödül seviyesini dikkate alarak bir sonraki eylemi tahmin etmeyi öğrenir.

Bu şekilde, RL görevi, öncüllere dayalı olarak bir sonraki eylemi tahmin etmeye indirgenir, bu da denetimli öğrenme yöntemlerinin kullanılmasına olanak tanır, çünkü transformer önceden toplanmış veriler üzerinde eğitilir ve etkileşimli öğrenmeye gerek kalmaz.

Bu, şunlara olanak tanır:

• Çevrimiçi etkileşim olmadan büyük veri setlerinin kullanılması.
• Genelleme ve planlama yapabilen modellerin eğitilmesi.

Yaklaşık olarak, Decision Transformer giriş olarak şunu alır:

(states, actions, returns_to_go) -> next_action

ve eylemin tahmin hatasını minimize edecek şekilde eğitilir.