Jak pomáhá dropout předcházet přeučení v neuronových sítích?

Dropout je technika regularizace v neuronových sítích, která pomáhá předcházet přeučení tím, že během tréninku náhodně "vypne" část neuronů. To brání síti v přílišné závislosti na jednotlivých neuronech a jejich spojích a umožňuje naučit se odolnější a zobecnitelnější znaky.

Myšlenka je, že při každém průchodu tréninkem je vytvořen náhodný podmnožina sítě, což je podobné tréninku souboru různých modelů. Výsledkem je, že model je méně náchylný k přeučení, protože si nemůže zapamatovat šum nebo specifické detaily tréninkové sady.

Příklad použití dropout v Keras:

from tensorflow.keras.layers import Dropout, Dense
from tensorflow.keras.models import Sequential

model = Sequential([
    Dense(128, activation='relu', input_shape=(input_dim,)),
    Dropout(0.5),  # náhodně vypne 50% neuronů
    Dense(10, activation='softmax')
])

Zde Dropout s pravděpodobností 0.5 vypne polovinu neuronů během tréninku.