რა არის stochastic depth და რატომ გამოიყენება EfficientNet-ში?

Stochastic Depth — ეს არის რეგულირების ტექნიკა, რომელიც გამოიყენება ღრმა ნეირონულ ქსელებში, მათ შორის EfficientNet-ში. იდეაა, რომ შემთხვევით გამოტოვოთ (გამორთოთ) გარკვეული ფენები ან ბლოკები ქსელში სწავლების დროს გარკვეული ალბათობით.

რისთვის არის ეს საჭირო?

• საშუალებას აძლევს ძალიან ღრმა ქსელების სწავლას, გადამეტების შემცირებით.
• აუმჯობესებს მოდელის ზოგადსაკანონმდებლო უნარს.
• აჩქარებს სწავლას, რადგან ზოგი ფენა არ ითვლება ყოველ ნაბიჯზე.

EfficientNet-ში stochastic depth-ს იყენებენ რეზიდუალურ ბლოკებზე: ყოველ სწავლების ნაბიჯზე, ბლოკი ან გამოტოვებულია (მიმდინარე გადაცემა ცვლილებების გარეშე), ან გამოიყენება ჩვეულებრივად. ინფერენციის დროს, ყველა ბლოკი აქტიურია.

ეს ეხმარება EfficientNet-ს მიაღწიოს მაღალი ხარისხს ნაკლები პარამეტრებით და გამოთვლებით.

შეგიძლიათ ეს ასე წარმოიდგინოთ:

if training:
    if random() < drop_prob:
        # გამოტოვეთ ბლოკი
        output = input
    else:
        output = block(input)
else:
    output = block(input)

ამ გზით, stochastic depth არის მეთოდი, რომელიც აძლიერებს სწავლას და ხდის მას უფრო ეფექტურს.