Qu'est-ce que la distillation?

La distillation de connaissances (knowledge distillation) est une méthode en apprentissage automatique où les connaissances d’un grand modèle complexe (enseignant) sont transférées à un modèle plus compact et rapide (étudiant). L’objectif est de maintenir une haute précision tout en réduisant la taille et les coûts computationnels du modèle.

Le processus implique généralement d’entraîner l’étudiant sur les sorties de l’enseignant (par exemple, sur les probabilités de classes), et pas seulement sur les étiquettes originales. Cela aide l’étudiant à mieux généraliser et à approcher le comportement de l’enseignant.

Exemple d’application : un grand réseau de neurones est entraîné sur un grand ensemble de données, puis ses connaissances sont distillées dans un petit modèle, utilisable sur des appareils mobiles avec des ressources limitées.