¿Se realizó un dropout basado en la pérdida o en la eliminación aleatoria de pesos?

El abandono (dropout) es una técnica de regularización de redes neuronales en la que algunos neuronas se "apagan" (se anulan) aleatoriamente durante el entrenamiento para prevenir el sobreajuste.

Existen dos enfoques principales:

1. Desconexión aleatoria de neuronas (dropout): en cada paso de entrenamiento, con probabilidad p, las neuronas se anulan, lo que equivale a desconectar aleatoriamente los pesos asociados con esas neuronas.

2. Dropout basado en la pérdida: un enfoque menos común, donde la probabilidad de dropout o la escala de los pesos depende del valor del error (pérdida) u otras métricas, para regular el entrenamiento de manera más efectiva.

En la mayoría de las bibliotecas populares (TensorFlow, PyTorch), se implementa el dropout clásico aleatorio. La implementación basada en la pérdida requiere soluciones personalizadas.

Ejemplo de dropout clásico en PyTorch:

import torch
import torch.nn as nn

class SimpleNN(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(100, 50)
        self.dropout = nn.Dropout(p=0.5)
        self.fc2 = nn.Linear(50, 10)

    def forward(self, x):
        x = torch.relu(self.fc1(x))
        x = self.dropout(x)  # desconexión aleatoria de neuronas
        x = self.fc2(x)
        return x

Por lo tanto, el dropout clásico es la desconexión aleatoria de neuronas, no de pesos, y no depende directamente de la pérdida.