Какво е стохастична дълбочина и защо се използва в EfficientNet?

Stochastic Depth е техника за регуляризация, която се прилага в дълбоки невронни мрежи, включително EfficientNet. Идеята е да се пропускат (изключват) случайно някои слоеве или блокове на мрежата по време на обучение с определена вероятност.

За какво е това?

• Позволява трениране на много дълбоки мрежи, намалявайки пренасищането.
• Подобрява способността на модела да обобщава.
• Ускорява обучението, тъй като някои слоеве не се изчисляват на всяка стъпка.

В EfficientNet stochastic depth се прилага към остатъчните блокове: на всяка стъпка на обучение блокът или се пропуска (пряк проход без промени), или се използва както обикновено. При инференса всички блокове са активни.

Това помага на EfficientNet да постигне високо качество с по-малко параметри и изчисления.

Може да си го представите така:

if training:
    if random() < drop_prob:
        # пропуснете блока
        output = input
    else:
        output = block(input)
else:
    output = block(input)

Така stochastic depth е начин да направите обучението по-устойчиво и ефективно.