Vai tika veikts dropout, balstoties uz zaudējumu vai nejaušu svaru izslēgšanu?

Dropout ir regulēšanas tehnika neironu tīklos, kurā treniņa laikā nejauši izslēdz (nulle) dažus neironus, lai novērstu pārtrenēšanu.

Ir divi galvenie pieejas:

1. Neironu nejauša izslēgšana (dropout): katrā treniņa solī ar varbūtību p neironi tiek izslēgti, kas ir līdzvērtīgi nejaušai šo neironu saistīto svaru atvienošanai.

2. Dropout, balstīts uz zaudējumu: mazāk izplatīta pieeja, kur dropout varbūtība vai svaru mērogošana ir atkarīga no kļūdas (zaudējuma) vērtības vai citām metriku, lai efektīvāk regulētu apmācību.

Lielākajā daļā populāro bibliotēku (TensorFlow, PyTorch) ir ieviests klasiskais nejaušais dropout. Zaudējuma balstīta realizācija prasa pielāgotus risinājumus.

PyTorch piemērs klasiskajam dropout:

import torch
import torch.nn as nn

class SimpleNN(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(100, 50)
        self.dropout = nn.Dropout(p=0.5)
        self.fc2 = nn.Linear(50, 10)

    def forward(self, x):
        x = torch.relu(self.fc1(x))
        x = self.dropout(x)  # nejauša neironu izslēgšana
        x = self.fc2(x)
        return x

Tātad, klasiskais dropout ir nejauša neironu izslēgšana, ne svaru, un tas tieši neietekmē zaudējumu.