Расскажите про Dropout: как он работает во время обучения и что происходит с ним на инференсе?

Dropout — это техника регуляризации нейронных сетей, которая помогает избежать переобучения. Во время обучения случайным образом "выключается" (зануляется) часть нейронов с заданной вероятностью (например, 0.5), что заставляет сеть не зависеть слишком сильно от отдельных признаков и улучшает обобщающую способность.

Во время инференса (применения модели) Dropout отключается, и все нейроны используются. Чтобы компенсировать эффект зануления во время обучения, веса нейронов масштабируются (обычно умножаются на вероятность сохранения нейрона), чтобы сохранить ожидаемое значение активаций.

Таким образом, Dropout работает как способ случайного "усечения" сети во время обучения, а на инференсе модель работает полноценно, используя все нейроны.