Wie funktioniert Dropout beim Training und bei der Inferenz?

Dropout ist eine Regularisierungstechnik für neuronale Netze, bei der während des Trainings zufällig (auf Null gesetzt) ein Teil der Neuronen deaktiviert wird, um Überanpassung zu verhindern.

Während des Trainings:

• Für jedes Eingabebeispiel wird ein bestimmter Prozentsatz der Neuronen zufällig deaktiviert (z.B. 20-50%).
• Dies zwingt das Netzwerk, nicht von bestimmten Neuronen abhängig zu sein, und verbessert seine Generalisierungsfähigkeit.

Während der Inferenz (Vorhersage):

• Dropout wird nicht angewendet, alle Neuronen sind aktiv.
• Um die fehlende Deaktivierung der Neuronen auszugleichen, werden die Gewichte skaliert (meistens mit der Wahrscheinlichkeit der Aktivierung des Neurons multipliziert), oder es wird während des Trainings eine Skalierung verwendet (invertiertes Dropout).

Auf diese Weise hilft Dropout, das Modell robuster zu machen und weniger anfällig für Überanpassung, aber während der Inferenz arbeitet das Netzwerk vollständig ohne zufällige Deaktivierungen.