Davranış kopyalama ile DAgger arasındaki fark nedir?

Davranışsal Klonlama (BC), bir modelin sadece gösterim verilerini kullanarak (örneğin, insan eylemlerinin kayıtları gibi) bir uzmanın davranışını taklit etmeyi öğrenen bir ajan eğitim yöntemidir. Model, durumlar ile eylemler arasındaki ilişkiyi doğrudan taklit eder ve çevre ile ek bir etkileşim gerektirmez.

DAgger (Dataset Aggregation), BC’nin geliştirilmiş bir versiyonudur ve modelin ardışık uygulanması sırasında oluşan hata birikme sorununu çözer. DAgger’da, ajan periyodik olarak eylemler gerçekleştirir ve bir uzman bunları düzeltir, yeni verileri eğitim kümesine ekler. Bu sayede, model sadece uzmanın demonstrasyonlarından değil, aynı zamanda kendi hatalarından da öğrenir, bu da davranışın dayanıklılığını ve kalitesini artırır.

Örnek:

• Davranışsal Klonlama: Uzmandan alınan "durum -> eylem" verileriyle bir sinir ağı eğitiyoruz.
• DAgger: Ajanı çalıştırıyoruz, durumlarını topluyoruz, uzman eylemleri düzeltiyor ve bu çiftleri veri setine ekliyoruz, ardından modeli yeniden eğitiyoruz.

Bu şekilde, DAgger, basit davranışsal klonlamada karakteristik olan hata birikimini önleyebilir.