За какво се случва подобряване на качеството при дестилацията на модел сам по себе си?

Подобряването на качеството при дестилацията на самия модел се постига чрез използването на по "меките" целеви метки (soft targets), които съдържат допълнителна информация за вероятностите на класовете, а не само за правилния отговор. Това помага на модела да обобщава по-добре и да учи от фините разлики между класовете.

Освен това, дестилацията позволява на модела да учи от собствените си предсказания с определена степен на изглаждане, което намалява пренасищането и подобрява стабилността. В крайна сметка моделът става по-компактен и ефективен, като запазва или дори подобрява качеството в сравнение с оригинала.