Какие слои в нейросетях ведут себя по-разному на train и inference (Dropout, BatchNorm и т.п.)?

Некоторые слои нейросетей ведут себя по-разному на этапах обучения (train) и инференса (inference):

• Dropout: во время обучения случайно "выключает" часть нейронов для предотвращения переобучения, а при инференсе все нейроны активны, при этом выходы масштабируются для компенсации.
• Batch Normalization (BatchNorm): во время обучения нормализует входы слоя по текущему батчу, обновляя статистики (среднее и дисперсию), а при инференсе использует накопленные статистики для стабильности.

Таким образом, эти слои адаптируют свое поведение, чтобы обеспечить лучшее обучение и корректную работу модели при предсказании.