Prečo dochádza k zlepšeniu kvality pri destilácii modelu samotného seba?

Zlepšenie kvality pri destilácii samotného modelu sa dosahuje použitím mäkších cieľových značiek (soft targets), ktoré obsahujú ďalšie informácie o pravdepodobnostiach tried, a nie len o správnej odpovedi. To pomáha modelu lepšie generalizovať a učiť sa z jemných rozdielov medzi triedami.

Okrem toho, destilácia umožňuje modelu učiť sa zo svojich vlastných predpovedí s určitým stupňom vyhladenia, čo znižuje preškolenie a zlepšuje stabilitu. Nakoniec sa model stáva kompaktnejším a efektívnejším, pričom si zachováva alebo dokonca zlepšuje kvalitu v porovnaní s pôvodným.