Как работи dropout в невронните мрежи?

Dropout е техника за регуляризация в невронните мрежи, която помага да се предотврати пренасищането. По време на обучение, част от невроните се изключват произволно (нулират се) с дадена вероятност (например 0,5). Това кара мрежата да не разчита твърде много на отделни неврони и да учи по-устойчиви характеристики.

Как работи:

• На всяка стъпка на обучение, за всеки неврон, с вероятност p, неговият изход се заменя с 0.
• В резултат, мрежата става като ансамбъл от различни подмодели.
• При тестване, dropout не се прилага, а теглата на невроните се мащабират, за да се компенсира изключването по време на обучение.

Пример в псевдокод:

for neuron in layer:
    if random() < dropout_rate:
        neuron.output = 0
    else:
        neuron.output = neuron.output / (1 - dropout_rate)

Това помага за подобряване на способността на модела да обобщава.