Mis on behavioral cloning vs DAgger?

Behavioral Cloning (BC) on meetod agentide koolitamiseks, kus mudel õpib imiteerima eksperdi käitumist, kasutades ainult demonstratsioonandmeid (näiteks inimeste tegevuste salvestusi). Mudel läheneb otse olekute ja tegevuste vahelisele seosele ilma täiendava keskkonnaga suhtlemata.

DAgger (Dataset Aggregation) on BC täiendus, mis lahendab viga kogunemise probleemi mudeli järjestikuse rakendamise ajal. DAggeris viib agent perioodiliselt tegevusi läbi, ning ekspert neid parandab, lisades uusi andmeid treeningkomplekti. Nii õpib mudel mitte ainult eksperdi demonstratsioonidest, vaid ka oma vigadest, suurendades stabiilsust ja käitumise kvaliteeti.

Näide:

• Behavioral Cloning: treenime närvivõrku andmetel "olek -> tegevus" eksperdilt.
• DAgger: käivitame agendi, kogume tema olekuid, ekspert parandab tegevusi ning lisab need paarid andmekogumile, et saaksime mudelit uuesti treenida.

Seega võimaldab DAgger vältida viga kogunemist, mis on tüüpiline lihtsale behavioral cloning'ile.