Что такое дроп-аут и как он реализуется?

Дроп-аут (Dropout) — это техника регуляризации в нейронных сетях, направленная на предотвращение переобучения. Во время обучения случайным образом «выключается» (обнуляется) часть нейронов с заданной вероятностью, что заставляет сеть не зависеть слишком сильно от отдельных нейронов и улучшает обобщающую способность модели.

Реализация дроп-аута обычно происходит так:

• На каждом шаге обучения для каждого нейрона с вероятностью p нейрон временно отключается (его выход становится 0).
• При этом веса нейронов не обновляются, так как нейрон не участвует в прямом и обратном проходах.
• Во время тестирования дроп-аут не применяется, а выходы нейронов масштабируются, чтобы компенсировать отключение во время обучения (например, умножаются на (1 - p)).

Пример на псевдокоде:

for neuron in layer:
    if training_mode:
        if random() < dropout_probability:
            neuron.output = 0
        else:
            neuron.output = neuron.output / (1 - dropout_probability)
    else:
        # Во время инференса дроп-аут не применяется
        pass

Таким образом, дроп-аут помогает сделать модель более устойчивой и менее склонной к переобучению.