Neyron tarmoqlardagi qaysi qatlamlar trening va inference vaqtida turlicha harakat qiladi (Dropout, BatchNorm va boshqalar)?

Ba'zi neyron tarmoqlari qatlamlari o'qitish (train) va inference (inference) bosqichlarida turlicha harakat qiladi:

• Dropout: o'qitish vaqtida tasodifiy ravishda neyronlarning bir qismini o'chiradi, ortiqcha moslashishni oldini olish uchun, inference vaqtida esa barcha neyronlar faol bo'lib, chiqishlar moslashtiriladi.
• Partiya normalizatsiyasi (BatchNorm): o'qitish vaqtida qatlam kirishlarini joriy partiyaga asoslangan holda normalizatsiya qiladi, statistikalarni (o'rtacha va dispersiya) yangilaydi, inference vaqtida esa, barqarorlik uchun yig'ilgan statistikalarni ishlatadi.

Shunday qilib, bu qatlamlar o'z harakatlarini moslashtiradi, shuning uchun modelni yaxshiroq o'qitish va to'g'ri ishlashini ta'minlash uchun.