Ինչպես է աշխատում դափլաութը նյարդային ցանցերում?

Dropout-ը նեյրոնային ցանցերում ռեգուլյարիզացիայի տեխնիկա է, որը օգնում է կանխել գերապատկերման։ Դպրոցում, պատահականորեն, որոշ նեյրոններ անջատվում են (զրոյացվում) նշված հավանականությամբ (օրինակ՝ 0,5): Սա ստիպում է ցանցին չվստահել միայն որոշ նեյրոնների վրա և սովորել ավելի կայուն հատկանիշներ։

Ինչպես է դա աշխատում՝

• Յուրաքանչյուր ուսուցման քայլում, յուրաքանչյուր նեյրոն համար, հավանականությամբ p, նրա ելքը փոխարինվում է 0-ով։
• Արդյունքում, ցանցը դառնում է տարբեր ենթամոդելների հավաքածու։
• Թեստավորման ժամանակ, dropout-ը չի կիրառվում, բայց նեյրոնների քաշերը մածուցկվում են՝ փոխհատուցելու անջատումը ուսուցման ժամանակ։

Պսևդոկոդի օրինակ՝

for neuron in layer:
    if random() < dropout_rate:
        neuron.output = 0
    else:
        neuron.output = neuron.output / (1 - dropout_rate)

Այս կերպ, բարելավվում է մոդելի ընդհանուր կարողությունը։