Что хотят услышать интервьюеры:

Во время валидации batch normalization должна работать в inference-режиме и не обновлять running statistics. Если она продолжает считать статистику на validation set, то метрики становятся некорректными и модель начинает “подстраиваться” под валидацию. Это приводит к утечке информации, нестабильным результатам и плохой воспроизводимости.

Определение:

Batch normalization нормализует активации с использованием статистик мини-батча и обычно хранит усреднённые значения и дисперсии для использования на инференсе. Во время обучения эти статистики обновляются, но при валидации и тестировании они должны только применяться, а не пересчитываться. Если обновление не отключить, поведение модели на валидации перестаёт соответствовать реальному inference-сценарию.

Пример использования:

Например, при обучении классификатора на train set валидация проходит на отдельном validation set. Если BN-слои продолжают обновлять running mean/variance на валидации, то часть информации из validation set попадает в состояние модели.

model.train()
for x, y in train_loader:
    loss = model(x, y)
    loss.backward()
    optimizer.step()

model.eval()  # важно: отключает обновление статистик BN
with torch.no_grad():
    for x, y in val_loader:
        preds = model(x)
        val_metric.update(preds, y)

Если забыть model.eval(), batch norm может использовать текущие батчи валидации для обновления статистик, и итоговая accuracy будет завышена или просто нестабильна.

Пояснение кода:

model.train() включает режим обучения: batch normalization обновляет running statistics, dropout работает как во время обучения.
На валидации вызывается model.eval(): BN переходит к использованию накопленных статистик и перестаёт их менять.
torch.no_grad() отключает вычисление градиентов, что ускоряет валидацию и экономит память.
Если eval() не вызвать, модель будет вести себя как на обучении, и validation metric станет зависеть от состава и порядка батчей.

Ключевые моменты:

Batch normalization на валидации должна использовать уже накопленные статистики, а не пересчитывать их.
Обновление статистик на validation set — это форма data leakage.
Метрики валидации становятся смещёнными и могут быть лучше реального качества на проде.
Результат может зависеть от порядка батчей и размера validation batch.
В большинстве фреймворков это решается переключением модели в режим eval().
Если режим не переключить, страдает и корректность оценки, и воспроизводимость эксперимента.

Какие проблемы возникают, если batch normalization обновляет статистику во время валидации?