Почему дроп-аут отключают на инференсе?

Дроп-аут (dropout) — это техника регуляризации, которая случайным образом "выключает" часть нейронов во время обучения, чтобы предотвратить переобучение и улучшить обобщающую способность модели.

На этапе инференса (предсказания) дроп-аут отключают, потому что:

• Во время обучения дроп-аут имитирует ансамбль моделей, случайно исключая нейроны, что помогает избежать зависимости от конкретных признаков.
• На инференсе модель должна работать стабильно и предсказуемо, используя все свои параметры.
• Если дроп-аут оставить включённым, то предсказания будут случайно меняться из-за случайного исключения нейронов, что ухудшит качество и воспроизводимость результатов.

Таким образом, на инференсе дроп-аут отключают, чтобы использовать полную мощность обученной модели и получать детерминированные предсказания.