Történt-e dropout a veszteség vagy a véletlenszerű súlykivétel alapján?

A dropout egy szabályozási technika a neurális hálózatokban, amely során az edzés során véletlenszerűen kikapcsolódnak (nullázódnak) bizonyos neuronok, hogy megakadályozza a túlillesztést.

Két fő megközelítés létezik:

1. Véletlenszerű neuron kikapcsolás (dropout): minden edzési lépésnél, valószínűséggel p, a neuronok nullázódnak, ami egyenértékű a hozzájuk kapcsolódó súlyok véletlenszerű kikapcsolásával.

2. Dropout a veszteség alapján: kevésbé elterjedt megközelítés, ahol a dropout valószínűsége vagy a súlyok skálázása a hiba (veszteség) értékétől vagy más metrikáktól függ, hogy hatékonyabban szabályozza az edzést.

A legtöbb népszerű könyvtárban (TensorFlow, PyTorch) a klasszikus véletlenszerű dropout van implementálva. A veszteség alapú megvalósítás egyedi megoldásokat igényel.

Példa a klasszikus dropout-ra PyTorch-ben:

import torch
import torch.nn as nn

class SimpleNN(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(100, 50)
        self.dropout = nn.Dropout(p=0.5)
        self.fc2 = nn.Linear(50, 10)

    def forward(self, x):
        x = torch.relu(self.fc1(x))
        x = self.dropout(x)  # véletlenszerű neuron kikapcsolás
        x = self.fc2(x)
        return x

Tehát a klasszikus dropout a neuronok véletlenszerű kikapcsolása, nem a súlyoké, és nem függ közvetlenül a veszteségtől.