Dropout qanday ishlaydi o'qitish va inference vaqtida?

Dropout neyron tarmoqlarining tartibga solish texnikasidir, u trening davomida tasodifan (nolga tenglashtirilgan holda) neyronlarning bir qismini o'chirish orqali overfittingni oldini oladi.

Trening davomida:

• Har bir kirish misoli uchun, belgilangan foiz (masalan, 20-50%) neyronlar tasodifan o'chiriladi.
• Bu tarmoqni ma'lum neyronlarga bog'liq bo'lishdan to'xtatadi va umumlashtirish qobiliyatini yaxshilaydi.

Inferensiya (taxmin qilish) vaqtida:

• Dropout qo'llanilmaydi, barcha neyronlar faol.
• Neyronlarning o'chirilishini qoplash uchun, vaznlar o'lchovlanadi (odatda, neyronning faollik ehtimolligi bilan ko'paytiriladi), yoki trening davomida o'lchovlanish (inverted dropout) ishlatiladi.

Shunday qilib, dropout modelni yanada chidamli qilishga va overfittingga moyillikni kamaytirishga yordam beradi, ammo inferensiya vaqtida tarmoq to'liq ishlaydi va tasodifiy o'chirishlar bo'lmaydi.