Ի՞նչ է stochastic depth-ը և ինչու է այն օգտագործվում EfficientNet-ում։

Stochastic Depth-ը այն տեխնիկա է, որը կիրառվում է խորը նեյրոնային ցանցերում, այդ թվում՝ EfficientNet-ում։ Իդեան այն է, որ պատահականորեն բաց թողնվեն (կամ անջատվեն) որոշ շերտեր կամ բլոկներ ցանցում ուսուցման ժամանակ որոշակի հավանականությամբ։

Ի՞նչ է դա անհրաժեշտ:

• Շատ խորը ցանցեր ուսուցանել, նվազեցնելով ավելորդ հարմարեցումը։
• Բարելավել մոդելի ընդհանուր կարողությունը։
• Արագացնել ուսուցումը, քանի որ որոշ շերտեր չեն հաշվարկվում յուրաքանչյուր քայլում։

EfficientNet-ում stochastic depth-ը կիրառվում է մնում-մնացքային բլոկների վրա։ Յուրաքանչյուր ուսուցման քայլում բլոկը կամ բաց է թողնվում (ուղիղ անցում առանց փոփոխությունների), կամ օգտագործվում է սովորական կերպով։ Ինֆերենցիայի ժամանակ բոլոր բլոկները ակտիվ են։

Այս կերպ EfficientNet-ը հասնում է բարձր որակության՝ ունենալով քիչ պարամետրեր և հաշվարկներ։

Դա կարելի է պատկերացնել այսպես՝

if training:
    if random() < drop_prob:
        # բաց թողնել բլոկը
        output = input
    else:
        output = block(input)
else:
    output = block(input)

Այսպիսով, stochastic depth-ը միջոց է, որը դարձնում է ուսուցումը ավելի կայուն և արդյունավետ։