Как работает дроп-аут в нейронных сетях?

Дроп-аут (dropout) — это техника регуляризации в нейронных сетях, которая помогает предотвратить переобучение. Во время обучения случайным образом "выключается" (обнуляется) часть нейронов с заданной вероятностью (например, 0.5). Это заставляет сеть не зависеть слишком сильно от отдельных нейронов и учиться более устойчивым признакам.

Как это работает:

• На каждом шаге обучения для каждого нейрона с вероятностью p его выход заменяется на 0.
• В результате сеть становится как бы ансамблем множества разных подмоделей.
• При тестировании дроп-аут не применяется, а веса нейронов масштабируются, чтобы компенсировать отключение во время обучения.

Пример на псевдокоде:

for neuron in layer:
    if random() < dropout_rate:
        neuron.output = 0
    else:
        neuron.output = neuron.output / (1 - dropout_rate)

Это помогает улучшить обобщающую способность модели.