Por que ocorre a melhoria da qualidade na destilação de um modelo por si mesmo?

A melhoria da qualidade durante a destilação do próprio modelo ocorre através do uso de metas mais "suaves" (soft targets), que contêm informações adicionais sobre as probabilidades das classes, e não apenas sobre a resposta correta. Isso ajuda o modelo a generalizar melhor e aprender com as diferenças sutis entre as classes.

Além disso, a destilação permite que o modelo aprenda com suas próprias previsões com um certo grau de suavização, o que reduz o sobreajuste e melhora a estabilidade. Como resultado, o modelo torna-se mais compacto e eficiente, mantendo ou até melhorando a qualidade em comparação com o original.