Czym jest behavioral cloning vs DAgger?

Klony behawioralne (BC) to metoda uczenia agentów, w której model uczy się odtwarzania zachowania eksperta, korzystając wyłącznie z danych demonstracyjnych (np. nagrań działań człowieka). Model bezpośrednio aproksymuje odwzorowanie stanów na działania bez dodatkowej interakcji z otoczeniem.

DAgger (Dataset Aggregation) to ulepszenie BC, które rozwiązuje problem narastania błędów podczas sekwencyjnego stosowania modelu. W DAgger agent okresowo wykonuje działania, a ekspert je koryguje, dodając nowe dane do zbioru treningowego. W ten sposób model uczy się nie tylko na demonstracjach eksperta, ale także na własnych błędach, co zwiększa odporność i jakość zachowania.

Przykład:

• Klonowanie behawioralne: uczymy sieć neuronową na danych "stan -> działanie" od eksperta.
• DAgger: uruchamiamy agenta, zbieramy jego stany, ekspert koryguje działania, i dodajemy te pary do zbioru danych, aby ponownie wytrenować model.

W ten sposób DAgger pozwala uniknąć narastania błędów, charakterystycznego dla prostego klonowania behawioralnego.