Čo je to behaviorálne klonovanie vs DAgger?

Behavioral Cloning (BC) je metóda učenia agentov, pri ktorej sa model učí napodobňovať správanie experta pomocou iba demonstračných dát (napríklad záznamov ľudských akcií). Model priamo aproximuje vzťah medzi stavmi a akciami bez ďalšej interakcie s prostredím.

DAgger (Dataset Aggregation) je vylepšenie BC, ktoré rieši problém hromadenia chýb pri sekvenčnom použití modelu. V DAgger agent periodicky vykonáva akcie a expert ich koriguje, pridávaním nových dát do tréningovej sady. Tým sa model učí nielen z demonstrácií experta, ale aj z vlastných chýb, čo zvyšuje odolnosť a kvalitu správania.

Príklad:

• Behavioral Cloning: trénujeme neurónovú sieť na dáta "stav -> akcia" od experta.
• DAgger: spúšťame agenta, zbierame jeho stavy, expert koriguje akcie a pridávame tieto páry do datasetu, aby sme model mohli znovu naučiť.

Tým DAgger umožňuje zabrániť hromadeniu chýb, čo je charakteristické pre jednoduché behaviorálne klonovanie.