O que é a destilação de conhecimento para edge?

Destilação de conhecimento para edge é um método de compressão e otimização de grandes modelos de aprendizagem automática para execução em dispositivos com recursos limitados (dispositivos edge, por exemplo, telemóveis, IoT).

A ideia é treinar um modelo compacto "estudante" que imite o comportamento de um grande modelo "professor", mantendo uma alta precisão, mas requerendo menos recursos computacionais e memória.

Isto permite:

• Executar modelos complexos em dispositivos com potência e consumo de energia limitados.
• Reduzir a latência no processamento de dados, pois os cálculos são feitos localmente.
• Melhorar a privacidade, pois não é necessário enviar dados para a nuvem.

Exemplo: uma grande rede neural é treinada num servidor, e depois os seus conhecimentos são transferidos via destilação para um pequeno modelo, que é implementado num smartphone para reconhecimento de voz ou imagens.