Bol vykonaný dropout na základe straty alebo náhodného vyraďovania váh?

Dropout je technika regularizácie neurónových sietí, pri ktorej sa počas tréningu náhodne vypínajú (nuluje) niektoré neuróny, aby sa zabránilo preučeniu.

Existujú dva hlavné prístupy:

1. Náhodné vypínanie neurónov (dropout): pri každom kroku tréningu sú neuróny s pravdepodobnosťou p vypnuté, čo je ekvivalentné náhodnému odpojeniu váh spojených s týmito neurónmi.

2. Dropout založený na strate: menej rozšírený prístup, kde pravdepodobnosť dropout alebo škálovanie váh závisí od hodnoty chyby (straty) alebo iných metrík, aby bolo možné efektívnejšie regulovať tréning.

Vo väčšine populárnych knižníc (TensorFlow, PyTorch) je implementovaný klasický náhodný dropout. Implementácia založená na strate vyžaduje vlastné riešenia.

Príklad klasického dropout v PyTorch:

import torch
import torch.nn as nn

class SimpleNN(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(100, 50)
        self.dropout = nn.Dropout(p=0.5)
        self.fc2 = nn.Linear(50, 10)

    def forward(self, x):
        x = torch.relu(self.fc1(x))
        x = self.dropout(x)  # náhodné vypnutie neurónov
        x = self.fc2(x)
        return x

Preto je klasický dropout náhodné vypnutie neurónov, nie váh, a priamo nezávisí od straty.