Что такое DenseNet и в чём отличие от ResNet?

DenseNet (Dense Convolutional Network) — это архитектура сверточных нейронных сетей, в которой каждый слой напрямую связан со всеми предыдущими слоями. Это значит, что вход каждого слоя — это конкатенация выходов всех предыдущих слоев, а не только предыдущего, как в классических сетях.

Отличия DenseNet от ResNet:

• Связи между слоями:

  • ResNet использует остаточные (skip) соединения, которые добавляют выход предыдущего слоя к текущему (сложение).
  • DenseNet конкатенирует выходы всех предыдущих слоев, обеспечивая более плотное соединение.

• Поток информации и градиентов:

  • В DenseNet градиенты и информация легче распространяются по сети благодаря множеству прямых связей, что помогает бороться с проблемой затухающего градиента.

• Параметры:

  • DenseNet обычно более параметроэффективен, так как повторно использует признаки из предыдущих слоев.

Пример упрощённой схемы DenseNet:

# Псевдокод для одного слоя DenseNet
input = concatenate([x0, x1, x2, ..., x_{n-1}])
output = Conv(input)

Где x0, x1, ... — выходы предыдущих слоев.

Таким образом, DenseNet способствует более эффективному обучению и улучшению качества за счёт плотных связей между слоями.