Έγινε dropout με βάση την απώλεια ή την τυχαία απομάκρυνση βαρών;

Το dropout είναι μια τεχνική κανονικοποίησης νευρωνικών δικτύων όπου μερνοί νευρώνες "απενεργοποιούνται" τυχαία κατά τη διάρκεια της εκπαίδευσης για την αποτροπή του υπερεκπαίδευσης.

Υπάρχουν δύο βασικές προσεγγίσεις:

1. Τυχαία απενεργοποίηση νευρώνων (dropout): σε κάθε βήμα εκπαίδευσης, με πιθανότητα p, οι νευρώνες απενεργοποιούνται, που ισοδυναμεί με τυχαία αποσύνδεση των βαρών που σχετίζονται με αυτούς τους νευρώνες.

2. Dropout με βάση την απώλεια: μια λιγότερο συνηθισμένη προσέγγιση, όπου η πιθανότητα dropout ή η κλίμακα των βαρών εξαρτάται από την τιμή του σφάλματος (απώλεια) ή άλλων μετρικών, για πιο αποτελεσματικό έλεγχο της εκπαίδευσης.

Στις περισσότερες δημοφιλείς βιβλιοθήκες (TensorFlow, PyTorch), υλοποιείται ο κλασικός τυχαίος dropout. Η υλοποίηση με βάση την απώλεια απαιτεί προσαρμοσμένες λύσεις.

Παράδειγμα κλασικού dropout σε PyTorch:

import torch
import torch.nn as nn

class SimpleNN(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(100, 50)
        self.dropout = nn.Dropout(p=0.5)
        self.fc2 = nn.Linear(50, 10)

    def forward(self, x):
        x = torch.relu(self.fc1(x))
        x = self.dropout(x)  # τυχαία απενεργοποίηση νευρώνων
        x = self.fc2(x)
        return x

Επομένως, ο κλασικός dropout είναι τυχαία απενεργοποίηση νευρώνων, όχι βαρών, και δεν εξαρτάται άμεσα από την απώλεια.