Co je to behaviorální klonování vs DAgger?

Behavioral Cloning (BC) je metoda výcviku agentů, při které se model učí napodobovat chování experta pomocí pouze demonstračních dat (například záznamů lidských akcí). Model přímo aproximuje vztah mezi stavy a akcemi bez další interakce s prostředím.

DAgger (Dataset Aggregation) je vylepšení BC, které řeší problém hromadění chyb při sekvenční aplikaci modelu. V DAgger agent periodicky provádí akce a expert je koriguje, přidáváním nových dat do tréninkové sady. Tím se model učí nejen z demonstrací experta, ale i z vlastních chyb, což zvyšuje odolnost a kvalitu chování.

Příklad:

• Behavioral Cloning: trénujeme neuronovou síť na datech "stav -> akce" od experta.
• DAgger: spouštíme agenta, sbíráme jeho stavy, expert koriguje akce a přidáváme tyto páry do datasetu, aby se model mohl znovu naučit.

Tím DAgger umožňuje zabránit hromadění chyb, což je typické pro jednoduché behaviorální klonování.