Šta je behavioral cloning u poređenju sa DAgger?

Behavioral Cloning (BC) je metoda obučavanja agenata u kojoj model uči da reprodukuje ponašanje eksperta koristeći samo demonstracijske podatke (na primer, zapise ljudskih akcija). Model direktno aproksimira odnos između stanja i akcija bez dodatne interakcije sa okruženjem.

DAgger (Dataset Aggregation) je poboljšanje BC koje rešava problem akumulacije grešaka pri sekvencijalnoj primeni modela. U DAgger-u, agent povremeno izvršava akcije, a ekspert ih korektuje, dodajući nove podatke u skup za obuku. Na taj način, model uči ne samo iz demonstracija eksperta, već i iz sopstvenih grešaka, čime se povećava otpornost i kvalitet ponašanja.

Primer:

• Behavioral Cloning: treniramo neuronsku mrežu na podacima "stanje -> akcija" od eksperta.
• DAgger: pokrećemo agenta, prikupljamo njegova stanja, ekspert korektuje akcije, i dodajemo te parove u skup podataka da bismo ponovo obučili model.

Tako DAgger omogućava izbegavanje akumulacije grešaka, što je karakteristično za jednostavan behavioral cloning.