Кои слоеве в невронните мрежи се държат по различен начин при обучение и при inference (Dropout, BatchNorm и т.н.)?

Някои слоеве на невронните мрежи се държат по различен начин по време на обучение (train) и inference (inference):

• Dropout: по време на обучение случайно изключва част от невроните, за да предотврати пренасищане, а при inference всички неврони са активни, като изходите се мащабират за компенсация.
• Batch Normalization (BatchNorm): по време на обучение нормализира входовете на слоя спрямо текущия пакет, актуализирайки статистиките (средно и дисперсия), а при inference използва натрупаните статистики за стабилност.

По този начин, тези слоеве адаптират своето поведение, за да осигурят по-добро обучение и правилна работа на модела при предсказания.