Öz-özünə modelin distillə edilməsi zamanı keyfiyyətin yaxşılaşması necə baş verir?

Modelin öz distillasyonu zamanı keyfiyyətin yaxşılaşdırılması, daha "yumşaq" hədəf etiketlərindən (soft targets) istifadə etməklə baş verir; bu etiketlər, yalnız düzgün cavab haqqında deyil, həm də siniflərin ehtimalları haqqında əlavə məlumatlar ehtiva edir. Bu, modelin daha yaxşı ümumiləşdirməsinə və sinflər arasındakı incə fərqlərdən öyrənməsinə kömək edir.

Bundan əlavə, distillasiya modelin öz proqnozlarından müəyyən bir yumşaltma dərəcəsi ilə öyrənməsinə imkan verir; bu, artıq öyrənməni azaldır və stabilliyi artırır. Nəticədə, model daha kompakt və səmərəli olur, orijinal ilə müqayisədə keyfiyyəti saxlayır və ya hətta yaxşılaşdırır.