Что хотят услышать интервьюеры:

Dropout — это регуляризация, которая снижает зависимость нейросети от отдельных нейронов и помогает уменьшить переобучение. Во время обучения случайно “выключается” часть нейронов, из-за чего сеть учится строить более устойчивые признаки. На инференсе dropout обычно отключают, а веса используют в полном составе с соответствующей нормализацией.

Определение:

Dropout — это метод регуляризации в нейросетях, при котором на каждом шаге обучения случайно зануляется часть активаций нейронов. Это заставляет сеть не полагаться на конкретные связи и делает модель менее чувствительной к шуму и случайным особенностям обучающей выборки.

Пример использования:

Например, в полносвязной сети для классификации изображений после скрытого слоя добавляют dropout с вероятностью 0.5. Это означает, что примерно половина нейронов этого слоя будет случайно отключаться на каждом батче во время обучения.

import torch.nn as nn

model = nn.Sequential(
    nn.Linear(784, 512),
    nn.ReLU(),
    nn.Dropout(p=0.5),
    nn.Linear(512, 10)
)

Во время обучения слой Dropout(0.5) случайно зануляет часть выходов ReLU. Это вынуждает модель не “запоминать” конкретный набор активных признаков, а учиться работать с разными подмножествами нейронов.

Пояснение кода:

nn.Linear(784, 512) — первый полносвязный слой, который преобразует вход в 512 признаков.
nn.ReLU() — добавляет нелинейность.
nn.Dropout(p=0.5) — случайно отключает 50% выходов слоя во время обучения.
nn.Linear(512, 10) — финальный слой для 10 классов.

Важно, что в режиме model.eval() dropout не случайный: нейроны не выключаются, и модель работает в детерминированном режиме.

Ключевые моменты:

Dropout уменьшает переобучение за счет шумовой регуляризации.
Он снижает co-adaptation нейронов, то есть зависимость от конкретных связей.
Во время обучения часть нейронов случайно отключается, на инференсе — нет.
Метод особенно полезен в полносвязных сетях и при небольшом объеме данных.
Слишком большой dropout может привести к недообучению, поэтому вероятность нужно подбирать.
Dropout не заменяет нормальную архитектуру, качество данных и другие методы регуляризации.

Как dropout помогает избежать переобучения в нейросетях?