Stochastic chuqurlik nima va u EfficientNetda nima uchun ishlatiladi?

Stochastic Depth — bu chuqur neyron tarmoqlarda, jumladan EfficientNet da qoʻllaniladigan regulyatsiya texnikasi. Gʻoyasi shundan iboratki, oʻquv jarayonida tarmoqning baʼzi qatlamlari yoki bloklarini tasodifiy ravishda oʻtkazib yuborish (oʻchirish) mumkin, bu ehtimollik bilan.

Bu nima uchun kerak?

• Juda chuqur tarmoqlarni oʻqitishga imkon beradi, ortiqcha oʻrganishni kamaytiradi.
• Modelning umumiylashuv qobiliyatini yaxshilaydi.
• Oʻqitishni tezlashtiradi, chunki baʼzi qatlamlar har bir bosqichda hisoblanmaydi.

EfficientNet da stochastic depth residual bloklarga qoʻllanadi: har bir oʻquv bosqichida, blok yoki oʻtkazib yuboriladi (oʻzgartirishsiz toʻgʻridan-toʻgʻri oʻtish) yoki odatdagidek ishlatiladi. Inferensiyada, barcha bloklar faol.

Bu EfficientNet ga kamroq parametrlar va hisoblash bilan yuqori sifatga erishishga yordam beradi.

Buni shunday tasavvur qilish mumkin:

if training:
    if random() < drop_prob:
        # blokni oʻtkazib yuborish
        output = input
    else:
        output = block(input)
else:
    output = block(input)

Shu tarzda, stochastic depth — oʻqitishni yanada barqaror va samarali qilish usuli.