O que é auto-destilação em CV?

Auto-distilação em visão computacional é um método em que o mesmo modelo é usado tanto como professor quanto como aluno. A ideia é que o modelo seja treinado com suas próprias previsões, melhorando a qualidade sem a necessidade de um grande modelo professor separado.

Exemplo: primeiro, o modelo é treinado com dados rotulados, depois gera etiquetas "suaves" (soft labels) para esses mesmos dados ou dados adicionais, e é treinado novamente com essas etiquetas, o que ajuda a melhorar a capacidade de generalização.

Isso ajuda a aumentar a precisão e a robustez do modelo sem aumentar seu tamanho.