Как устроена реализация дропаута в PyTorch?

В PyTorch дропаут реализован как слой, который во время обучения случайным образом "выключает" (устанавливает в ноль) часть нейронов с заданной вероятностью (параметр p). Это помогает предотвратить переобучение, заставляя модель не зависеть слишком сильно от отдельных нейронов.

Реализация основана на генерации маски из случайных значений с распределением Бернулли, где каждый элемент маски равен 0 с вероятностью p и 1 с вероятностью 1-p. Во время обучения выход слоя умножается на эту маску и масштабируется на коэффициент 1/(1-p), чтобы сохранить среднее значение активаций.

Пример использования:

import torch
import torch.nn as nn

dropout = nn.Dropout(p=0.5)
input = torch.randn(5, 5)
output = dropout(input)  # во время обучения часть элементов будет обнулена

Во время режима оценки (model.eval()) дропаут отключается и слой пропускает вход без изменений.