CV'de self-distillation nedir?

Bilgisayar Görüşünde Kendinden Damıtma, aynı modelin hem öğretmen hem de öğrenci olarak kullanıldığı bir yöntemdir. Fikir, modelin kendi tahminleri üzerinde eğitilmesi ve büyük bir öğretmen modeline ihtiyaç duymadan kalitenin artırılmasıdır.

Örnek: önce model etiketlenmiş veriler üzerinde eğitilir, sonra aynı veya ek veriler için "yumuşak" etiketler (soft labels) üretir ve bu etiketlerle yeniden eğitilir, bu da genelleme yeteneğini artırmaya yardımcı olur.

Bu, modelin doğruluğunu ve dayanıklılığını artırmaya yardımcı olur, boyutunu büyütmeden.