Z czego wynika poprawa jakości podczas destylacji samego siebie modelu?

Poprawa jakości podczas destylacji samego modelu odbywa się poprzez użycie bardziej "miękkich" etykiet docelowych (soft targets), które zawierają dodatkowe informacje o prawdopodobieństwach klas, a nie tylko o poprawnej odpowiedzi. Pomaga to modelowi lepiej uogólniać i uczyć się na subtelnych różnicach między klasami.

Ponadto, destylacja pozwala modelowi uczyć się na własnych przewidywaniach z pewnym stopniem wygładzania, co zmniejsza nadmierne dopasowanie i poprawia stabilność. Ostatecznie model staje się bardziej kompaktowy i wydajny, zachowując lub nawet poprawiając jakość w porównaniu do oryginału.