Как работает dropout на обучении и на инференсе?

Dropout — это техника регуляризации нейронных сетей, которая случайным образом "выключает" (зануляет) часть нейронов во время обучения, чтобы предотвратить переобучение.

Во время обучения:

• Для каждого входного примера случайно отключается определённый процент нейронов (например, 20-50%).
• Это заставляет сеть не зависеть от конкретных нейронов и улучшает обобщающую способность.

Во время инференса (предсказания):

• Dropout не применяется, все нейроны активны.
• Чтобы компенсировать отсутствие отключения нейронов, веса масштабируются (обычно умножаются на вероятность включения нейрона), либо во время обучения используется масштабирование (inverted dropout).

Таким образом, dropout помогает сделать модель более устойчивой и менее склонной к переобучению, но во время инференса сеть работает полноценно без случайных отключений.