Что такое dropout?

Dropout — это техника регуляризации в нейронных сетях, которая помогает предотвратить переобучение. Во время обучения случайным образом "выключается" (обнуляется) часть нейронов с заданной вероятностью, что заставляет сеть не полагаться слишком сильно на отдельные нейроны и улучшает обобщающую способность модели.

Например, при dropout с вероятностью 0.5 половина нейронов на каждом шаге обучения будет временно отключена.

В популярных библиотеках, таких как TensorFlow или PyTorch, dropout реализуется как слой:

import torch
import torch.nn as nn

class SimpleNN(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(784, 256)
        self.dropout = nn.Dropout(p=0.5)
        self.fc2 = nn.Linear(256, 10)

    def forward(self, x):
        x = torch.relu(self.fc1(x))
        x = self.dropout(x)
        x = self.fc2(x)
        return x

Таким образом, dropout помогает сделать модель более устойчивой и улучшить её качество на новых данных.