Inferensda dropout o'chirilganda aktivatsiyalar qanday o'sadi?

Tarmoq neyronlarini o'qitish vaqtida dropout ishlatilganda, overfittingni oldini olish uchun tasodifan ba'zi neyronlar o'chiriladi. Bu holatda, inference (dropout o'chirilgan paytda) uchun aktivatsiyalarni o'lchash orqali chiqishlarning kutish qiymatini saqlash uchun moslashtiriladi.

Odatda, neyronni saqlash ehtimoliga teng bo'lgan koeffitsient bilan og'irliklar yoki aktivatsiyalarni o'lchash qo'llaniladi (1 / keep_prob). Masalan, agar neyronni saqlash ehtimoli 0.8 bo'lsa, inference vaqtida aktivatsiyalar 0.8 ga ko'paytiriladi, dropoutning yo'qligini kompensatsiya qilish uchun.

Bu model chiqishlarining inference vaqtida o'qitishdagi statistikaga mos kelishini ta'minlaydi, dropout o'chirilgan bo'lsa ham.

Qisqacha aytganda: inference vaqtida aktivatsiyalarni o'lchash, ularni neyronni saqlash ehtimoliga ko'paytirish bilan amalga oshiriladi, bu modelning muvozanati va barqarorligini saqlash uchun.