Какво е behavioral cloning срещу DAgger?

Behavioral Cloning (BC) е метод за обучение на агенти, при който моделът се учи да възпроизвежда поведението на експерт, използвайки само демонстрационни данни (например записи на действия на човек). Моделът директно аппроксимира връзката между състоянията и действията без допълнително взаимодействие с околната среда.

DAgger (Dataset Aggregation) е подобрение на BC, което решава проблема с натрупването на грешки при последователното прилагане на модела. В DAgger агентът периодично изпълнява действия, а експертът ги коригира, добавяйки нови данни към обучаващия набор. По този начин моделът учи не само от демонстрациите на експерта, но и от собствените си грешки, което повишава устойчивостта и качеството на поведението.

Пример:

• Behavioral Cloning: обучаваме невронна мрежа на данни "състояние -> действие" от експерта.
• DAgger: стартираме агента, събираме неговите състояния, експертът коригира действията и добавяме тези двойки към набора от данни, за да преподготовим модела.

Така DAgger позволява да се избегне натрупването на грешки, характерно за простото behavioral cloning.