Dropout, sinir ağlarında aşırı uyumu nasıl önler?

Dropout, sinir ağlarında aşırı öğrenmeyi önlemeye yardımcı olan bir düzenleme tekniğidir ve eğitim sırasında rastgele olarak bazı nöronları "kapatır" (sıfırlar). Bu, ağın belirli nöronlara ve bağlantılarına aşırı bağımlı olmasını engeller ve daha dayanıklı ve genelleştirilebilir özellikler öğrenmesine olanak tanır.

Fikir, her eğitim geçişinde rastgele bir alt küme oluşturulmasıdır, bu da farklı modellerin topluluğunun eğitilmesine benzer. Sonuç olarak, model aşırı öğrenmeye daha az eğilimlidir çünkü eğitim setinin gürültüsünü veya belirli detaylarını ezberleyemez.

Keras'ta dropout kullanımı örneği:

from tensorflow.keras.layers import Dropout, Dense
from tensorflow.keras.models import Sequential

model = Sequential([
    Dense(128, activation='relu', input_shape=(input_dim,)),
    Dropout(0.5),  # rastgele %50 nöron kapatır
    Dense(10, activation='softmax')
])

Burada, Dropout olasılığı 0.5 olan Dropout, eğitim sırasında katmandaki nöronların yarısını kapatır.