Что хотят услышать интервьюеры:

Дропаут обычно делают не через лосс, а через случайное зануление части активаций или, реже, весов во время обучения. Это регуляризация, которая снижает переобучение и заставляет модель меньше полагаться на отдельные признаки. На инференсе дропаут отключают, а поведение масштабируют с учётом обучающего режима.

Определение:

Dropout — это метод регуляризации нейросетей, при котором на каждом шаге обучения случайно “выключается” часть нейронов или связей. Чаще всего зануляются выходы нейронов слоя, а не веса напрямую. Идея в том, чтобы модель училась устойчивым представлениям и не зависела от конкретных активаций.

Использование лосса для “делания dropout” — это не стандартный смысл dropout. Лосс может только косвенно влиять на обучение через оптимизацию, но сам механизм dropout — это стохастическое маскирование.

Пример использования:

Например, в полносвязной сети для классификации изображений после скрытого слоя ставят dropout 0.5, чтобы половина нейронов случайно отключалась на каждом батче обучения.

import torch
import torch.nn as nn

class Model(nn.Module):
    def __init__(self, in_dim, hidden_dim, num_classes):
        super().__init__()
        self.net = nn.Sequential(
            nn.Linear(in_dim, hidden_dim),
            nn.ReLU(),
            nn.Dropout(p=0.5),
            nn.Linear(hidden_dim, num_classes)
        )

    def forward(self, x):
        return self.net(x)

Пояснение кода:

nn.Dropout(p=0.5) случайно зануляет 50% выходов предыдущего слоя только в режиме обучения.
Во время model.train() dropout активен и помогает регуляризовать модель.
Во время model.eval() dropout отключается, чтобы предсказания были детерминированными.
Dropout применяется к активациям, а не к значению loss.
В большинстве фреймворков маскирование и масштабирование реализованы внутри слоя автоматически.

Ключевые моменты:

Dropout — это регуляризация через случайное выключение части нейронов или связей.
Стандартно dropout применяется к активациям, а не “по лоссу”.
На обучении dropout включён, на инференсе — выключен.
Основная цель — уменьшить переобучение и повысить устойчивость модели.
Случайное выкидывание весов — это уже другая техника; в типичном deep learning под dropout понимают именно masking activations.

Делался ли дроп-аут с опорой на лосс или случайным выкидыванием весов?