Как помага dropout да се избегне пренасищането в невронните мрежи?

Dropout е техника за регуляризация в невронните мрежи, която помага да се избегне пренасищане, като случайно "изключва" част от невроните по време на обучение. Това предотвратява мрежата да разчита твърде много на отделни неврони и връзките им, като по този начин учи по-устойчиви и обобщаващи характеристики.

Идеята е, че при всяко обучение се създава случайно подмножество на мрежата, което е подобно на обучение на ансамбъл от различни модели. В резултат моделът става по-малко склонен към пренасищане, тъй като не може да запомни шума или специфичните детайли на обучаващия набор.

Пример за използване на dropout в Keras:

from tensorflow.keras.layers import Dropout, Dense
from tensorflow.keras.models import Sequential

model = Sequential([
    Dense(128, activation='relu', input_shape=(input_dim,)),
    Dropout(0.5),  # случайно изключва 50% от невроните
    Dense(10, activation='softmax')
])

Тук Dropout с вероятност 0.5 изключва половината неврони по време на обучение.