Behavioral cloning va DAgger nima?

Behavioral Cloning (BC) — bu agentlarni o‘rgatish usuli bo‘lib, unda model faqat namuna ma’lumotlarini (masalan, inson harakatlarining yozuvlarini) ishlatib, mutaxassisning xulqini takrorlaydi. Model holatlar va harakatlar o‘rtasidagi bog‘liqlikni to‘g‘ridan-to‘g‘ri approximatsiya qiladi va muhit bilan qo‘shimcha o‘zaro ta’sir qilmaydi.

DAgger (Dataset Aggregation) — bu BC ning yaxshilanishi bo‘lib, modelni ketma-ket qo‘llashda yuzaga keladigan xato to‘planishini hal qiladi. DAggerda agent vaqti-vaqti bilan harakat qiladi, mutaxassis ularni to‘g‘rilaydi va yangi ma’lumotlarni o‘quv to‘plamiga qo‘shadi. Shu tarzda, model faqat mutaxassisning namoyishlaridan emas, balki o‘z xatolaridan ham o‘rganadi, bu esa xulqning barqarorligi va sifatini oshiradi.

Misol:

• Behavioral Cloning: mutaxassisdan "holat -> harakat" ma’lumotlari bilan neyron tarmoq o‘rgatamiz.
• DAgger: agentni ishga tushiramiz, uning holatlarini yig‘amiz, mutaxassis harakatlarni to‘g‘rilaydi va bu juftliklarni ma’lumotlar to‘plamiga qo‘shamiz va modelni qayta o‘qitamiz.

Shu tarzda, DAgger oddiy behavioral cloningga xos bo‘lgan xato to‘planishini oldini olish imkonini beradi.