Wat is gedragsklonen versus DAgger?

Behavioral Cloning (BC) is een methode om agenten te trainen waarbij het model het gedrag van een expert leert na te bootsen, door alleen demonstratiegegevens te gebruiken (bijvoorbeeld opnames van menselijke acties). Het model benadert direct de mapping van toestanden naar acties zonder verdere interactie met de omgeving.

DAgger (Dataset Aggregation) is een verbetering van BC die het probleem van error accumulatie bij sequentiële toepassing van het model oplost. Bij DAgger voert de agent periodiek acties uit, en een expert corrigeert deze, door nieuwe gegevens aan de trainingsset toe te voegen. Op deze manier leert het model niet alleen van de demonstraties van de expert, maar ook van zijn eigen fouten, wat de robuustheid en kwaliteit van het gedrag verhoogt.

Voorbeeld:

• Behavioral Cloning: we trainen een neuraal netwerk op data "toestand -> actie" van de expert.
• DAgger: we starten de agent, verzamelen zijn toestanden, de expert corrigeert de acties, en voegen deze paren toe aan de dataset om het model opnieuw te trainen.

Zo voorkomt DAgger dat fouten zich opstapelen, wat typisch is voor eenvoudige behavioral cloning.