Por que na conexão residual é utilizada a operação de soma em vez de concatenação?

Na ligação residual (residual connection) é utilizada a operação de soma em vez de concatenação, por várias razões:

• Preservação da dimensionalidade: A soma exige que a entrada e a saída tenham a mesma dimensão, o que simplifica a arquitetura e permite somar sinais facilmente.
• Simplificação do treino: A soma fornece um caminho direto para o gradiente, ajudando a combater o problema do gradiente que desaparece.
• Menor quantidade de parâmetros: Ao contrário da concatenação, que aumenta a dimensionalidade e requer pesos adicionais para processar o vetor expandido, a soma não aumenta a dimensionalidade, o que reduz a carga computacional.
• Eficiência: A soma é uma operação simples e rápida que não requer processamento adicional, enquanto a concatenação requer uma camada subsequente para fundir as características.

Assim, a soma na conexão residual ajuda a transmitir informações e gradientes de forma eficiente, mantendo a compactação do modelo.