Кадом қабати дар шабакаҳои нейронӣ дар вақти омӯзиш ва inference (Dropout, BatchNorm ва ғайра) рафтори гуногун доранд?

Баъзи нейрон торларининг қавати ўқитиш (train) ва inference (inference) босқичларида турлича ҳаракат қилади:

• Dropout: ўқитиш вақтида тасодифий равишда нейронларнинг бир қисмини ўчиради, ортиқча ўрганишни олдини олиш учун, inference вақтида эса барча нейронлар фаол, чиқишлар мослаштирилади.
• Batch Normalization (BatchNorm): ўқитиш вақтида қават киришларини ҳозирги партияга асосланиб нормаллаштиради, статистикаларни (ўртача ва тарқалиш) янгилайди, ва inference вақтида йиғилган статистикалардан фойдаланади.

Шу тариқа, бу қаватлар ўз ҳаракатларини мослаштиради, моделнинг яхшироқ ўрганиши ва тўғри ишлаши учун.