Neyron şəbəkələrində dropout necə işləyir?

Dropout, neyron şəbəkələrində tənzimləmə texnikasıdır və aşırı öyrənmənin qarşısını almağa kömək edir. Təlim zamanı, təsadüfi olaraq, müəyyən ehtimolla (məsələn, 0,5) neyronların bir hissəsi "söndürülür" (sıfırlanır). Bu, şəbəkənin tək-tək neyronlara çox asılı olmasının qarşısını alır və daha dayanıqlı xüsusiyyətlər öyrənməsinə kömək edir.

İş prinsipi:

• Hər təlim addımında, hər neyron üçün, ehtimolla p, onun çıxışı 0 ilə əvəz olunur.
• Nəticədə, şəbəkə müxtəlif alt modellərdən ibarət bir ansambl kimi olur.
• Test zamanı dropout tətbiq edilmir, lakin neyronların çəkiləri, təlim zamanı deaktivləşməni kompensasiya etmək üçün miqyaslandırılır.

Pseudokod nümunəsi:

for neuron in layer:
    if random() < dropout_rate:
        neuron.output = 0
    else:
        neuron.output = neuron.output / (1 - dropout_rate)

Bu, modelin ümumilaşdırma qabiliyyətini artırmağa kömək edir.