O que é fusão de kernel e onde ela ajuda?

A fusão de kernels é uma otimização na programação GPU, na qual vários kernels sequenciais são combinados num só. Isto permite reduzir o número de execuções de kernels, diminuir os custos de troca de contexto e reduzir o número de acessos à memória.

Onde a fusão de kernels ajuda:

• Acelera a execução de cadeias de operações, por exemplo, em aprendizagem automática com operações matriciais sequenciais.
• Reduz as latências relacionadas com a sincronização entre kernels.
• Melhora a eficiência do uso da memória e da largura de banda.

Exemplo: em vez de lançar três kernels separados para operações de soma, multiplicação e ativação, eles são combinados num único kernel que realiza as três operações em sequência, minimizando os acessos à memória global.