Middle
Ինչպես է աշխատում dropout-ը ուսուցման և inference-ի ժամանակ?
sobes.tech AI
Պատասխան AI-ից
Dropout-ը նեյրոնային ցանցերի կանոնավորացման տեխնիկա է, որը պատահականորեն (զրոյացնելով) անջատում է նեյրոնների մի մասը ուսուցման ժամանակ՝ կանխելու համար ավելորդ հարմարեցումը:
Ուսուցման ժամանակ:
- Ամեն մուտքային օրինակին համար պատահականորեն անջատվում է որոշակի տոկոս (օրինակ՝ 20-50%) նեյրոնների:
- Սա ստիպում է ցանցին չվստահել կոնկրետ նեյրոններին և բարելավում է նրա ընդհանուր կարողությունը:
Նախագծման (առաջնորդության) ժամանակ:
- Dropout-ը չի կիրառվում, բոլոր նեյրոնները ակտիվ են:
- Նեյրոնների անջատման բացակայությունը փոխհատուցելու համար, քաշերը սքեյլավորվում են (հաճախ՝ նեյրոնի ակտիվացման հնարավորության հետ բազմապատկելով), կամ ուսուցման ժամանակ օգտագործվում է սքեյլավորում (inverted dropout):
- Այս կերպ, Dropout-ը օգնում է դարձնել մոդելը ավելի դիմացկուն և քիչ ենթակա է ավելորդ հարմարեցման, բայց նախագծման ժամանակ ցանցը աշխատում է լիարժեք՝ առանց պատահական անջատումների։