Mi az a behavioral cloning vs DAgger?

A Behavioral Cloning (BC) egy olyan módszer az ügynökök tanítására, amelyben a modell megtanulja utánozni egy szakértő viselkedését, kizárólag bemutató adatok (például emberi cselekvések felvételei) felhasználásával. A modell közvetlenül közelíti meg az állapotok és cselekvések közötti kapcsolatot anélkül, hogy további kölcsönhatásba lépne a környezettel.

A DAgger (Dataset Aggregation) a BC egy fejlesztése, amely megoldja a hibák felhalmozódásának problémáját a modell szekvenciális alkalmazásakor. A DAgger-ben az ügynök időszakosan végrehajtja a cselekvéseket, és egy szakértő javítja azokat, új adatokat adva a tanulási készlethez. Így a modell nemcsak a szakértő bemutatóiból tanul, hanem saját hibáiból is, növelve a viselkedés stabilitását és minőségét.

Példa:

• Behavioral Cloning: egy neurális hálót tanítunk "állapot -> cselekvés" adatokkal a szakértőtől.
• DAgger: elindítjuk az ügynököt, összegyűjtjük az állapotait, a szakértő javítja a cselekvéseket, és ezeket a párokat hozzáadjuk az adathalmazhoz, majd újra tanítjuk a modellt.

Így a DAgger lehetővé teszi a hibák felhalmozódásának elkerülését, ami jellemző a egyszerű behavioral cloningra.