Yapay sinir ağlarında dropout nasıl çalışır?

Dropout, yapay sinir ağlarında aşırı uyumu önlemeye yardımcı olan bir düzenleme tekniğidir. Eğitim sırasında, rastgele olarak belirli bir olasılıkla (örneğin, 0.5) bazı nöronlar "kapatılır" (sıfırlanır). Bu, ağın belirli nöronlara aşırı bağımlı olmasını engeller ve daha dayanıklı özellikler öğrenmesine yardımcı olur.

Nasıl çalışır:

• Her eğitim adımında, her nöron için, olasılık p ile, çıkışı 0 ile değiştirilir.
• Sonuç olarak, ağ, farklı alt modellerden oluşan bir topluluk gibi olur.
• Test sırasında dropout uygulanmaz ve nöronların ağırlıkları, eğitim sırasında kapatmayı telafi etmek için ölçeklendirilir.

Örnek pseudokod:

for neuron in layer:
    if random() < dropout_rate:
        neuron.output = 0
    else:
        neuron.output = neuron.output / (1 - dropout_rate)

Bu, modelin genelleme yeteneğini artırmaya yardımcı olur.