Ar buvo atliktas dropout, pagrįstas nuostoliu ar atsitiktiniu svorių išmetimu?

Dropout yra reguliavimo technika neuroniniuose tinkluose, kurio metu mokymo metu atsitiktinai išjungiamas (nuliuojamas) kai kurie neuronai, siekiant išvengti per didelio pritaikymo.

Yra du pagrindiniai požiūriai:

1. Atsitiktinis neuronų išjungimas (dropout): kiekviename mokymo žingsnyje, su tikimybe p, neuronai yra išjungti, kas lygu atsitiktiniam sujungimų su šiais neuronais išjungimui.

2. Dropout, pagrįstas nuostoliu: mažiau paplitęs požiūris, kur tikimybė dropout arba svorių mastelis priklauso nuo klaidos (nuostolio) reikšmės ar kitų metrikų, siekiant efektyviau reguliuoti mokymąsi.

Daugelyje populiarių bibliotekų (TensorFlow, PyTorch) įgyvendintas klasikinis atsitiktinis dropout. Nuostolio pagrįsta įgyvendinimas reikalauja individualių sprendimų.

Pavyzdys klasikinio dropout PyTorch:

import torch
import torch.nn as nn

class SimpleNN(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(100, 50)
        self.dropout = nn.Dropout(p=0.5)
        self.fc2 = nn.Linear(50, 10)

    def forward(self, x):
        x = torch.relu(self.fc1(x))
        x = self.dropout(x)  # atsitiktinis neuronų išjungimas
        x = self.fc2(x)
        return x

Taigi, klasikinis dropout — tai atsitiktinis neuronų išjungimas, o ne svorių, ir tiesiogiai nepriklauso nuo nuostolio.