Kas ir behavioral cloning salīdzinājumā ar DAgger?

Behavioral Cloning (BC) ir metodes, kurā aģents mācās atdarināt eksperta uzvedību, izmantojot tikai demonstrācijas datus (piemēram, cilvēka darbību ierakstus). Modelis tieši aproksimē stāvokļu un rīcības saistību bez papildu mijiedarbības ar vidi.

DAgger (Dataset Aggregation) ir BC uzlabojums, kas risina kļūdu uzkrāšanās problēmu modeļa secīgās piemērošanas laikā. DAgger gadījumā aģents periodiski veic darbības, un eksperts tās koriģē, pievienojot jaunus datus apmācības kopumam. Tādējādi modelis mācās ne tikai no eksperta demonstrācijām, bet arī no savām kļūdām, kas palielina stabilitāti un uzvedības kvalitāti.

Piemērs:

• Behavioral Cloning: apmācām neironu tīklu ar datiem "stāvoklis -> rīcība" no eksperta.
• DAgger: sākam aģentu, vācam tā stāvokļus, eksperts koriģē rīcības un pievieno šos pārus datu kopumam, lai atkārtoti apmācītu modeli.

Tādējādi DAgger ļauj izvairīties no kļūdu uzkrāšanās, kas raksturīga vienkāršajam behavioral cloning.