Foi feito um dropout com base na perda ou na eliminação aleatória de pesos?

Dropout é uma técnica de regularização de redes neurais na qual alguns neurônios são "desligados" (anulados) aleatoriamente durante o treino para evitar o sobreajuste.

Existem duas abordagens principais:

1. Desligamento aleatório de neurônios (dropout): em cada passo de treino, com probabilidade p, os neurônios são anulados, o que equivale a desligar aleatoriamente os pesos associados a esses neurônios.

2. Dropout baseado na perda: uma abordagem menos comum, onde a probabilidade de dropout ou a escala dos pesos depende do valor do erro (perda) ou de outras métricas, para regular o treino de forma mais eficaz.

Na maioria das bibliotecas populares (TensorFlow, PyTorch), é implementado o dropout clássico aleatório. A implementação baseada na perda requer soluções personalizadas.

Exemplo de dropout clássico em PyTorch:

import torch
import torch.nn as nn

class SimpleNN(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(100, 50)
        self.dropout = nn.Dropout(p=0.5)
        self.fc2 = nn.Linear(50, 10)

    def forward(self, x):
        x = torch.relu(self.fc1(x))
        x = self.dropout(x)  # desligamento aleatório de neurônios
        x = self.fc2(x)
        return x

Portanto, o dropout clássico é a desconexão aleatória de neurônios, não de pesos, e não depende diretamente da perda.