Kako dropout pomaže u izbegavanju prekomernog učenja u neuronskim mrežama?

Dropout је техника регуларизације у неуронским мрежама која помаже у избегавању пренаглашавања, случајно "искључујући" део неурона током тренинга. Ово спречава мрежу да се превише ослања на појединачне неуроне и њихове везе, учећи стабилније и обухватније карактеристике.

Идеја је да се при сваком пролазу тренинга креира случајни подскуп мреже, слично тренирању ансамбла различитих модела. Као резултат, модел постаје мање склони пренаглашавању, јер не може да запамти шум или специфичне детаље тренинг сета.

Пример коришћења dropout-а у Keras-у:

from tensorflow.keras.layers import Dropout, Dense
from tensorflow.keras.models import Sequential

model = Sequential([
    Dense(128, activation='relu', input_shape=(input_dim,)),
    Dropout(0.5),  # случајно искључује 50% неурона
    Dense(10, activation='softmax')
])

Овде Dropout са вероватноћом 0.5 искључује половину неурона током тренинга.