Is er een dropout gedaan op basis van verlies of door willekeurig gewichten te verwijderen?

Dropout is een regularisatietechniek voor neurale netwerken waarbij tijdens de training willekeurig enkele neuronen worden uitgeschakeld (op nul gezet) om overfitting te voorkomen.

Er zijn twee hoofdbenaderingen:

1. Willekeurig uitschakelen van neuronen (dropout): bij elke trainingsstap worden neuronen met kans p uitgeschakeld, wat gelijk staat aan het willekeurig loskoppelen van de gewichten die aan deze neuronen gekoppeld zijn.

2. Dropout gebaseerd op de loss: een minder gangbare aanpak, waarbij de kans op dropout of de schaal van de gewichten afhankelijk is van de foutwaarde (loss) of andere metrics, om de training effectiever te reguleren.

In de meeste populaire bibliotheken (TensorFlow, PyTorch) wordt de klassieke willekeurige dropout geïmplementeerd. Een implementatie gebaseerd op de loss vereist aangepaste oplossingen.

Voorbeeld van klassieke dropout in PyTorch:

import torch
import torch.nn as nn

class SimpleNN(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(100, 50)
        self.dropout = nn.Dropout(p=0.5)
        self.fc2 = nn.Linear(50, 10)

    def forward(self, x):
        x = torch.relu(self.fc1(x))
        x = self.dropout(x)  # willekeurig uitschakelen van neuronen
        x = self.fc2(x)
        return x

Dus, klassieke dropout is het willekeurig uitschakelen van neuronen, niet van gewichten, en hangt niet direct af van de loss.