Kas yra behavioral cloning vs DAgger?

Behavioral Cloning (BC) yra metodas, kuriuo agentai mokomi, kaip atkartoti eksperto elgesį, naudojant tik demonstracinius duomenis (pavyzdžiui, žmogaus veiksmų įrašus). Modelis tiesiogiai apytikriai atitinka būsenų ir veiksmų ryšį be papildomos sąveikos su aplinka.

DAgger (Dataset Aggregation) yra BC patobulinimas, kuris sprendžia klaidų kaupimosi problemą modelio sekcijos taikymo metu. DAgger metu agentas periodiškai atlieka veiksmus, o ekspertas juos koreguoja, pridedant naujus duomenis į mokymosi rinkinį. Taip modelis mokosi ne tik iš eksperto demonstracijų, bet ir iš savo klaidų, kas didina stabilumą ir elgesio kokybę.

Pavyzdys:

• Behavioral Cloning: mokome neuroninį tinklą naudodami duomenis "būseną -> veiksmą" iš eksperto.
• DAgger: paleidžiame agentą, renkamės jo būsenas, ekspertas koreguoja veiksmus ir pridedame šiuos poras į duomenų rinkinį, kad galėtume iš naujo apmokyti modelį.

Taip DAgger leidžia išvengti klaidų kaupimosi, kuris būdingas paprastam behavioral cloning.