Что такое stochastic depth и зачем он в EfficientNet?

Stochastic Depth — это техника регуляризации, применяемая в глубоких нейронных сетях, в том числе в EfficientNet. Идея заключается в случайном пропуске (выключении) некоторых слоёв или блоков сети во время обучения с определённой вероятностью.

Зачем это нужно:

• Позволяет тренировать очень глубокие сети, уменьшая переобучение.
• Улучшает обобщающую способность модели.
• Ускоряет обучение, так как часть слоёв не вычисляется на каждом шаге.

В EfficientNet stochastic depth применяется к residual-блокам: на каждом шаге обучения блок либо пропускается (прямой проход без изменений), либо используется как обычно. При этом на этапе инференса все блоки активны.

Это помогает EfficientNet достигать высокого качества при меньшем количестве параметров и вычислений.

Примерно это можно представить так:

if training:
    if random() < drop_prob:
        # пропустить блок
        output = input
    else:
        output = block(input)
else:
    output = block(input)

Таким образом stochastic depth — это способ сделать обучение более устойчивым и эффективным.