Τι είναι ένας decision transformer και πώς μετατρέπει το RL σε επιβλεπόμενη μάθηση;

Decision Transformer είναι μια προσέγγιση στη Reinforcement Learning (RL), η οποία διατυπώνει την εργασία εκπαίδευσης του πράκτορα ως ένα πρόβλημα εποπτευόμενης μάθησης. Αντί να μαθαίνει μέσω αλληλεπίδρασης με το περιβάλλον και ενημέρωσης της πολιτικής βάσει ανταμοιβών, το Decision Transformer εκπαιδεύεται σε ιστορικά δεδομένα (διαδρομές) χρησιμοποιώντας μια αρχιτεκτονική μετασχηματιστή.

Βασική ιδέα:

• Η είσοδος του μοντέλου είναι ακολουθίες καταστάσεων, ενεργειών και στόχων ανταμοιβής (return-to-go).
• Το μοντέλο μαθαίνει να προβλέπει την επόμενη ενέργεια λαμβάνοντας υπόψη το επιθυμητό επίπεδο ανταμοιβής.

Έτσι, η εργασία RL μειώνεται στην πρόβλεψη της επόμενης ενέργειας βάσει προηγούμενων, επιτρέποντας τη χρήση μεθόδων εποπτευόμενης μάθησης, εκπαιδεύοντας τον μετασχηματιστή σε προγενέστερα συλλεγμένα δεδομένα χωρίς ανάγκη για διαδραστική μάθηση.

Αυτό επιτρέπει:

• Τη χρήση μεγάλων συνόλων δεδομένων χωρίς διαδικτυακή αλληλεπίδραση.
• Την εκπαίδευση μοντέλων που μπορούν να γενικεύσουν και να σχεδιάσουν.

Περίπου, το Decision Transformer δέχεται ως είσοδο:

(states, actions, returns_to_go) -> next_action

και εκπαιδεύεται για να ελαχιστοποιήσει το σφάλμα πρόβλεψης της ενέργειας.