Miért javul a minőség önmagától történő modelláldozás során?

A modell önmagának történő desztillációja során a minőség javítása a "puha" célértékek (soft targets) használatával történik, amelyek további információkat tartalmaznak a osztályok valószínűségeiről, nemcsak a helyes válaszról. Ez segít a modellnek jobban általánosítani és tanulni az osztályok közötti finom különbségekből.

Ezenkívül a desztilláció lehetővé teszi a modell számára, hogy saját előrejelzéseiből tanuljon bizonyos simítási fokkal, ami csökkenti a túlillesztést és javítja a stabilitást. Végül a modell kompaktabbá és hatékonyabbá válik, miközben megőrzi vagy akár javítja az eredetihez képest a minőséget.