Wie funktioniert Dropout in neuronalen Netzen?

Dropout ist eine Regularisierungstechnik in neuronalen Netzen, die hilft, Überanpassung zu verhindern. Während des Trainings werden zufällig Teile der Neuronen mit einer bestimmten Wahrscheinlichkeit (z.B. 0,5) "deaktiviert" (auf Null gesetzt). Dies zwingt das Netzwerk, nicht zu stark von einzelnen Neuronen abhängig zu sein und robustere Merkmale zu lernen.

So funktioniert es:

• Bei jedem Trainingsschritt wird für jedes Neuron mit Wahrscheinlichkeit p dessen Ausgang auf 0 gesetzt.
• Dadurch wird das Netzwerk zu einer Art Ensemble verschiedener Submodelle.
• Beim Testen wird kein Dropout angewendet, aber die Gewichte der Neuronen werden skaliert, um die Deaktivierung während des Trainings auszugleichen.

Beispiel in Pseudocode:

for neuron in layer:
    if random() < dropout_rate:
        neuron.output = 0
    else:
        neuron.output = neuron.output / (1 - dropout_rate)

Dies hilft, die Generalisierungsfähigkeit des Modells zu verbessern.