Kuidas aitab dropout vältida üleõppimist närvivõrkudes?

Dropout on regulatsioonitehnika närvivõrkudes, mis aitab vältida üleõppimist, juhuslikult "lülitades välja" osa neuronitest treeningu ajal. See takistab võrgul liiga palju sõltuda üksikutest neuronitest ja nende ühendustest ning õpib tugevamaid ja üldistavaid tunnuseid.

Idee seisneb selles, et iga treeningu läbimisel luuakse juhuslik alamhulk võrgust, mis sarnaneb erinevate mudelite ansambli treeninguga. Selle tulemusena muutub mudel vähem kalduvaks üleõppimisele, kuna ta ei saa meelde jätta müra ega spetsiifilisi üksikasju treeningandmest.

Keras näide Dropouti kasutamisest:

from tensorflow.keras.layers import Dropout, Dense
from tensorflow.keras.models import Sequential

model = Sequential([
    Dense(128, activation='relu', input_shape=(input_dim,)),
    Dropout(0.5),  # juhuslikult välja lülitab 50% neuronitest
    Dense(10, activation='softmax')
])

Siin lülitab Dropout tõenäosusega 0.5 välja poole neuronitest treeningu ajal.