Por que é importante procurar camadas semelhantes no professor e no estudante durante a destilação?

Durante a destilação de modelos, é importante procurar camadas semelhantes no professor e no estudante para transferir eficazmente o conhecimento de um modelo maior e mais complexo (o professor) para um mais compacto (o estudante). A correspondência de camadas semelhantes permite que o estudante aprenda com as representações intermédias formadas pelo professor, e não apenas com as saídas finais. Isso ajuda o estudante a reproduzir melhor o comportamento do professor, melhorando a qualidade e a capacidade de generalização do modelo com menos recursos.

Por exemplo, se o professor e o estudante tiverem camadas convolucionais com funções semelhantes, pode-se fazer com que o estudante minimize a diferença nas ativações dessas camadas, o que promove uma transferência de conhecimento mais profunda do que simplesmente copiar os logits de saída.

Assim, procurar camadas semelhantes ajuda a:

• Alinhar as representações internas dos modelos
• Melhorar a eficiência do treino do estudante
• Reduzir a perda de informação durante a destilação

Isso é especialmente importante quando as arquiteturas do professor e do estudante diferem, e é necessário encontrar pontos de contato para a transferência de conhecimento.