Нейрондук тармактарда кайсы катламдар окутуу жана inference учурунда ар башка жүрүм-турум көрсөтөт (Dropout, BatchNorm жана башка)?

Кээ бир нейрон тармак катмалары үйрөнүү (train) жана inference (inference) этаптарында башкача жүрүм-турумга ээ:

• Dropout: үйрөнүү учурунда кездейсөңчө түрдө нейрондордун бир бөлүгүн өчүрүп коюу, ашыкча үйрөнүүнү алдын алуу үчүн, inference учурунда бардык нейрондор активдүү, жана чыгыштар масштабдалат компенсациялоо үчүн.
• Batch Normalization (BatchNorm): үйрөнүү учурунда катманын кириштерин учурдагы партияга негизделип нормалдаштырып, статистикаларды (орта жана дисперсия) жаңыртат, ал эми inference учурунда топтолгон статистикаларды колдонуп туруктуулукту камсыз кылат.

Мындайча айтканда, бул катмалар өзүнүн жүрүм-турумун адаптациялап, жакшыраак үйрөнүү жана туура иштөө үчүн моделдин алдын-ала болжау учурунда иштешин камсыздайт.