Co je to decision transformer a jak převádí RL na učení s učitelem?

Decision Transformer je přístup v oblasti posilovaného učení (RL), který formuluj e úlohu tréninku agenta jako problém dohledu. Místo učení prostřednictvím interakce s prostředím a aktualizace politiky na základě odměn se Decision Transformer trénuje na historických datech (trajectoriích) pomocí architektury transformer.

Hlavní myšlenka:

• Vstupem modelu jsou sekvence stavů, akcí a cílových odměn (return-to-go).
• Model se učí předpovídat následující akci s ohledem na požadovanou úroveň odměny.

Tím se úloha RL zjednodušuje na předpověď následující akce na základě předchozích, což umožňuje použití metod dohledu, trénováním transformeru na předem shromážděných datech bez potřeby interaktivního učení.

To umožňuje:

• Použití velkých datových sad bez online interakce.
• Trénování modelů schopných generalizace a plánování.

Přibližně Decision Transformer přijímá jako vstup:

(states, actions, returns_to_go) -> next_action

a je trénován tak, aby minimalizoval chybu předpovědi akce.