Cuéntame sobre Dropout: ¿cómo funciona durante el entrenamiento y qué sucede con él en la inferencia?

Dropout — это техника регуляризации нейронных сетей, которая помогает избежать переобучения. Во время обучения случайным образом "выключается" (зануляется) часть нейронов с заданной вероятностью (например, 0.5), что заставляет сеть не зависеть слишком сильно от отдельных признаков и улучшает обобщающую способность.

Во время инференса (применения модели) Dropout отключается, и все нейроны используются. Чтобы компенсировать эффект зануления во время обучения, веса нейронов масштабируются (обычно умножаются на вероятность сохранения нейрона), чтобы сохранить ожидаемое значение активаций.

Таким образом, Dropout работает как способ случайного "усечения" сети во время обучения, а на инференсе модель работает полноценно, используя все нейроны.