Ako pomáha dropout predchádzať preučeniu v neurónových sieťach?

Dropout je technika regularizácie v neurónových sieťach, ktorá pomáha predchádzať preučeniu tým, že počas tréningu náhodne "vypne" časť neurónov. To zabraňuje sieti prílišnej závislosti od jednotlivých neurónov a ich spojení, čím sa učí odolnejšie a generalizovateľnejšie znaky.

Myšlienka je, že pri každom prechode tréningu sa vytvorí náhodný podmnožina siete, čo je podobné tréningu ansámblu rôznych modelov. Výsledkom je, že model je menej náchylný na preučenie, pretože si nemôže zapamätať šum alebo špecifické detaily tréningového súboru.

Príklad použitia dropout v Keras:

from tensorflow.keras.layers import Dropout, Dense
from tensorflow.keras.models import Sequential

model = Sequential([
    Dense(128, activation='relu', input_shape=(input_dim,)),
    Dropout(0.5),  # náhodne vypne 50% neurónov
    Dense(10, activation='softmax')
])

Tu Dropout s pravdepodobnosťou 0.5 vypne polovicu neurónov počas tréningu.