Почему в residual connection используется операция сложения, а не конкатенация?

В residual connection (остаточном соединении) используется операция сложения, а не конкатенация, по нескольким причинам:

• Сохранение размерности: Сложение требует, чтобы вход и выход имели одинаковую размерность, что упрощает архитектуру и позволяет легко складывать сигналы.
• Упрощение обучения: Сложение обеспечивает прямой путь градиенту, что помогает бороться с проблемой затухающего градиента.
• Меньшее количество параметров: В отличие от конкатенации, которая увеличивает размерность и требует дополнительных весов для обработки расширенного вектора, сложение не увеличивает размерность, что снижает вычислительную нагрузку.
• Эффективность: Сложение — это простая и быстрая операция, которая не требует дополнительной обработки, в то время как конкатенация требует последующего слоя для объединения признаков.

Таким образом, сложение в residual connection помогает эффективно передавать информацию и градиенты, сохраняя при этом компактность модели.