Stochastic depth nedir ve neden EfficientNet'te kullanılır?

Stochastic Depth, der der Regularisierungstechnik, kullanılan derin sinir ağlarında, EfficientNet de dahil olmak üzere, rastgele bazı katmanları veya blokları eğitim sırasında belirli bir olasılıkla atlamaya (devre dışı bırakmaya) dayanır.

Bunun amacı nedir?

• Çok derin ağların eğitimine izin verir, aşırı öğrenmeyi azaltır.
• Modelin genelleme yeteneğini artırır.
• Eğitim hızını artırır, çünkü bazı katmanlar her adımda hesaplanmaz.

EfficientNet'te stochastic depth, residual bloklara uygulanır: eğitim sırasında, blok ya atlanır (değişikliksiz doğrudan geçiş) ya da normal şekilde kullanılır. Tahmin sırasında, tüm bloklar aktiftir.

Bu, EfficientNet'in daha az parametre ve hesaplama ile yüksek kaliteye ulaşmasına yardımcı olur.

Bunu şöyle düşünebilirsiniz:

if training:
    if random() < drop_prob:
        # bloğu atla
        output = input
    else:
        output = block(input)
else:
    output = block(input)

Bu şekilde, stochastic depth, eğitimi daha dayanıklı ve verimli hale getiren bir yöntemdir.