Co je to destilace?

Distilace znalostí (knowledge distillation) je metoda strojového učení, při které se znalosti z velkého, složitého modelu (učitele) přenášejí do kompaktnějšího a rychlejšího modelu (žáka). Cílem je zachovat vysokou přesnost při snižování velikosti a výpočetních nákladů modelu.

Proces obvykle zahrnuje trénink žáka na výstupech učitele (například na pravděpodobnostech tříd), nikoli pouze na původních štítcích. To pomáhá žákovi lépe generalizovat a přibližovat chování učitele.

Příklad použití: velká neuronová síť je trénována na velkém datovém souboru a poté jsou její znalosti destilovány do malého modelu, který lze použít na mobilních zařízeních s omezenými zdroji.