Как работи dropout по време на обучение и инференс?

Dropout е техника за регуляризация на невронните мрежи, която случайно (нулира) част от невроните по време на обучение, за да предотврати пренасищане.

По време на обучение:

• За всеки входен пример се изключва произволен процент неврони (например 20-50%).
• Това кара мрежата да не зависи от конкретни неврони и подобрява способността й за обобщаване.

По време на инференция (предсказване):

• Dropout не се прилага, всички неврони са активни.
• За да се компенсира липсата на изключване на невроните, теглата се мащабират (обикновено се умножават по вероятността за активиране на неврона), или по време на обучение се използва мащабиране (inverted dropout).

По този начин Dropout помага моделът да стане по-устойчив и по-малко склонен към пренасищане, но по време на инференция мрежата работи напълно без случайни изключвания.