Kaip dropout padeda išvengti per didelį mokymąsi neuroniniuose tinkluose?

Dropout yra reguliacijos technika neuroniniuose tinkluose, kuri padeda išvengti per didelio pritaikymo, atsitiktinai "išjungiant" dalį neuronų mokymo metu. Tai neleidžia tinklui pernelyg priklausyti nuo atskirų neuronų ir jų ryšių, ir moko stabilesnius ir bendresnius požymius.

Idėja ta, kad kiekvieno mokymo praeityje sukuriama atsitiktinė tinklo dalis, panaši į įvairių modelių ansamblio mokymą. Galiausiai modelis tampa mažiau linkęs į per didelį pritaikymą, nes jis negali įsiminti triukšmo ar specifinių mokymo rinkinio detalių.

Keras pavyzdys, kaip naudoti Dropout:

from tensorflow.keras.layers import Dropout, Dense
from tensorflow.keras.models import Sequential

model = Sequential([
    Dense(128, activation='relu', input_shape=(input_dim,)),
    Dropout(0.5),  # atsitiktinai išjungia 50% neuronų
    Dense(10, activation='softmax')
])

Čia Dropout su tikimybe 0.5 išjungia pusę neuronų mokymo metu.