Ce este clonarea comportamentală față de DAgger?

Clonarea Comportamentală (BC) este o metodă de antrenare a agenților în care modelul învață să reproducă comportamentul unui expert, folosind doar date de demonstrație (de exemplu, înregistrări ale acțiunilor umane). Modelul aproximează direct relația dintre stări și acțiuni fără interacțiuni suplimentare cu mediul.

DAgger (Dataset Aggregation) este o îmbunătățire a BC care rezolvă problema acumulării de erori în aplicarea secvențială a modelului. În DAgger, agentul execută acțiuni periodic, iar un expert le corectează, adăugând noi date la setul de antrenament. Astfel, modelul învață nu doar din demonstrațiile expertului, ci și din propriile erori, ceea ce crește robustețea și calitatea comportamentului.

Exemplu:

• Clonarea comportamentală: antrenăm o rețea neuronală pe datele "stare -> acțiune" de la expert.
• DAgger: pornim agentul, colectăm stările sale, expertul corectează acțiunile, și adăugăm aceste perechi la setul de date pentru a reantrena modelul.

Astfel, DAgger permite evitarea acumulării de erori, caracteristică a clonării comportamentale simple.