Wat is destillatie?

Knowledge distillation (kennisdistillatie) is een methode in machine learning waarbij kennis van een groot, complex model (leraar) wordt overgedragen op een kleiner en sneller model (leerling). Het doel is om hoge nauwkeurigheid te behouden terwijl de grootte en de computationele kosten van het model worden verminderd.

Het proces omvat meestal het trainen van de leerling op de outputs van de leraar (bijvoorbeeld op klasse probabilities), en niet alleen op de oorspronkelijke labels. Dit helpt de leerling om beter te generaliseren en het gedrag van de leraar te benaderen.

Voorbeeld van toepassing: een grote neurale netwerk wordt getraind op een grote dataset, en vervolgens worden de kennis ervan gedistilleerd in een klein model dat op mobiele apparaten met beperkte middelen kan worden gebruikt.