Qu'est-ce que le clonage comportemental par rapport à DAgger?

Le clonage comportemental (BC) est une méthode d’apprentissage des agents où le modèle apprend à reproduire le comportement d’un expert en utilisant uniquement des données de démonstration (par exemple, des enregistrements d’actions humaines). Le modèle approxime directement la relation entre états et actions sans interaction supplémentaire avec l’environnement.

DAgger (Dataset Aggregation) est une amélioration du BC qui résout le problème de l’accumulation d’erreurs lors de l’application séquentielle du modèle. Dans DAgger, l’agent effectue périodiquement des actions, et un expert les corrige, en ajoutant de nouvelles données à l’ensemble d’entraînement. Ainsi, le modèle apprend non seulement des démonstrations de l’expert, mais aussi de ses propres erreurs, ce qui augmente la robustesse et la qualité du comportement.

Exemple:

• Clonage comportemental : entraînons un réseau neuronal sur des données "état -> action" de l’expert.
• DAgger : lançons l’agent, recueillons ses états, l’expert corrige les actions, et ajoutons ces paires à l’ensemble de données pour réentraîner le modèle.

Ainsi, DAgger permet d’éviter l’accumulation d’erreurs, caractéristique du simple clonage comportemental.