Koji slojevi u neuronskim mrežama se ponašaju različito tokom treninga i inference (Dropout, BatchNorm itd.)?

Неке слојеви неуронских мрежа понашају се различито током фазе учења (train) и inference (inference):

• Dropout: током учења насумично искључује део неурона како би спречио пренаглашавање, а током inference сви неурони су активни, а излази се скалирају ради компензације.
• Batch Normalization (BatchNorm): током учења нормализује улазе слоја на основу тренутног пакета, ажурира статистике (просек и дисперзија), а током inference користи акумулиране статистике за стабилност.

Овим путем, ови слојеви прилагођавају своје понашање како би обезбедили боље учење и исправан рад модела приликом предвиђања.