Делался ли дроп-аут с опорой на лосс или случайным выкидыванием весов?

Дроп-аут (dropout) — это техника регуляризации нейронных сетей, при которой случайным образом "выключаются" (обнуляются) некоторые нейроны во время обучения, чтобы предотвратить переобучение.

Существует два основных подхода:

1. Случайное выкидывание нейронов (dropout): на каждом шаге обучения с вероятностью p нейроны обнуляются, что эквивалентно случайному выкидыванию весов, связанных с этими нейронами.

2. Dropout с опорой на лосс: менее распространённый подход, где вероятность дропаута или масштабирование весов зависит от величины ошибки (лосса) или других метрик, чтобы более эффективно регулировать обучение.

В большинстве популярных библиотек (TensorFlow, PyTorch) реализован классический случайный dropout. Реализация с опорой на лосс требует кастомных решений.

Пример классического dropout в PyTorch:

import torch
import torch.nn as nn

class SimpleNN(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(100, 50)
        self.dropout = nn.Dropout(p=0.5)
        self.fc2 = nn.Linear(50, 10)

    def forward(self, x):
        x = torch.relu(self.fc1(x))
        x = self.dropout(x)  # случайное обнуление нейронов
        x = self.fc2(x)
        return x

Таким образом, классический dropout — это случайное выкидывание нейронов, а не весов, и не зависит напрямую от лосса.