Kā dropout palīdz izvairīties no pārmācības neironu tīklos?

Dropout ir tehnika neironu tīklos regulēšanai, kas palīdz izvairīties no pārmērīgas pielāgošanās, nejauši "izslēdzot" daļu neironu treniņa laikā. Tas novērš tīkla pārāk lielu paļāvību uz atsevišķiem neironiem un to savienojumiem, ļaujot mācīties izturīgākus un vispārīgākus raksturlielumus.

Ideja ir tāda, ka katrā treniņa pārejas laikā tiek izveidots nejaušs apakšsistēmas tīkls, kas līdzinās dažādu modeļu ansambļa apmācībai. Rezultātā modelis ir mazāk pakļauts pārmērīgai pielāgošanai, jo tas nevar atcerēties troksni vai specifiskas detaļas apmācības kopā.

Keras piemērs Dropout izmantošanai:

from tensorflow.keras.layers import Dropout, Dense
from tensorflow.keras.models import Sequential

model = Sequential([
    Dense(128, activation='relu', input_shape=(input_dim,)),
    Dropout(0.5),  # nejauši izslēdz 50% neironu
    Dense(10, activation='softmax')
])

Šeit Dropout ar varbūtību 0.5 izslēdz pusi neironu treniņa laikā.