Como funciona o dropout em redes neuronais?

O dropout é uma técnica de regularização em redes neurais que ajuda a prevenir o sobreajuste. Durante o treino, uma parte dos neurônios é "desligada" aleatoriamente (zerada) com uma probabilidade definida (por exemplo, 0,5). Isso faz com que a rede não dependa demasiado de neurônios individuais e aprenda características mais robustas.

Como funciona:

• A cada passo de treino, para cada neurônio, com probabilidade p, sua saída é substituída por 0.
• Como resultado, a rede torna-se como um conjunto de vários submodelos.
• Durante a avaliação, o dropout não é aplicado, mas os pesos dos neurônios são escalados para compensar a desconexão durante o treino.

Exemplo em pseudocódigo:

for neuron in layer:
    if random() < dropout_rate:
        neuron.output = 0
    else:
        neuron.output = neuron.output / (1 - dropout_rate)

Isso ajuda a melhorar a capacidade de generalização do modelo.