O que é destilação?

Destilação de conhecimento (knowledge distillation) é um método em aprendizagem de máquina onde o conhecimento de um modelo grande e complexo (professor) é transferido para um modelo mais compacto e rápido (aluno). O objetivo é manter uma alta precisão ao reduzir o tamanho e os custos computacionais do modelo.

O processo geralmente envolve treinar o aluno nas saídas do professor (por exemplo, nas probabilidades de classes), e não apenas nas etiquetas originais. Isso ajuda o aluno a generalizar melhor e a aproximar o comportamento do professor.

Exemplo de aplicação: uma grande rede neural é treinada em um grande conjunto de dados, e depois seus conhecimentos são destilados em um modelo pequeno, que pode ser usado em dispositivos móveis com recursos limitados.