Behavioral cloning жана DAgger деген эмне?

Behavioral Cloning (BC) — бул агенттерди окутуу ыкмасы, анда модель эксперттин жүрүм-турумун кайталап үйрөнөт, тек демонстрациялык маалыматтарды (мисалы, адамдын аракеттеринин жазуулары) колдонуп. Модель абалдар менен аракеттердин ортосундагы байланышты түздөн-түз жакындатып, кошумча чөйрө менен өз ара аракеттенбейт.

DAgger (Dataset Aggregation) — бул BCнин өркүндөтүлгөн версиясы, ал моделдин үзгүлтүксүз колдонулушунда ката жыйналуу маселесин чечет. DAggerде агент мезгил-мезгили менен аракет кылып, эксперт аны оңдойт, жаңы маалыматтарды үйрөнүү топтомуна кошот. Ошентип, модель эксперттин көрсөтмөлөрүнөн гана эмес, өз каталарынан да үйрөнөт, бул туруктуулукту жана жүрүм-турумдун сапатын жогорулатат.

Мисал:

• Behavioral Cloning: эксперттен алынган "абал -> аракет" маалыматтары менен нейрондук тармакты үйрөтөбүз.
• DAgger: агентти ишке киргизип, анын абалдарын чогултуп, эксперт аракеттерди оңдойт жана бул парларды маалымат топтомуна кошуп, моделди кайра үйрөтөбүз.

Ошентип, DAgger жөнөкөй behavioral cloningго мүнөздүү каталардын топтолушун алдын алууга мүмкүндүк берет.