Was ist Behavioral Cloning vs DAgger?

Behavioral Cloning (BC) ist eine Methode, bei der Agenten trainiert werden, wobei das Modell das Verhalten eines Experten nachahmt, indem es nur Demonstrationsdaten verwendet (z.B. Aufzeichnungen menschlicher Aktionen). Das Modell approximiert direkt die Abbildung von Zuständen auf Aktionen ohne zusätzliche Interaktion mit der Umgebung.

DAgger (Dataset Aggregation) ist eine Verbesserung von BC, die das Problem der Fehlerakkumulation bei sequenzieller Anwendung des Modells löst. Bei DAgger führt der Agent periodisch Aktionen aus, und ein Experte korrigiert diese, indem er neue Daten zum Trainingssatz hinzufügt. So lernt das Modell nicht nur aus den Demonstrationen des Experten, sondern auch aus eigenen Fehlern, was die Robustheit und die Verhaltensqualität erhöht.

Beispiel:

• Behavioral Cloning: Wir trainieren ein neuronales Netzwerk auf Daten "Zustand -> Aktion" vom Experten.
• DAgger: Wir starten den Agenten, sammeln seine Zustände, der Experte korrigiert die Aktionen, und wir fügen diese Paare dem Datensatz hinzu, um das Modell neu zu trainieren.

Auf diese Weise kann DAgger das Ansammeln von Fehlern vermeiden, das bei einfachem behavioral cloning typisch ist.