O que é o dropout e como é implementado?

Dropout é uma técnica de regularização em redes neurais que visa prevenir o sobreajuste. Durante o treino, aleatoriamente, uma parte dos neurônios é "desligada" (zerada) com uma probabilidade dada, o que obriga a rede a não depender demasiado de neurônios individuais e melhora a capacidade de generalização do modelo.

A implementação do dropout geralmente ocorre assim:

• Em cada passo de treino, para cada neurônio, com uma probabilidade p, o neurônio é temporariamente desligado (sua saída torna-se 0).
• Os pesos dos neurônios não são atualizados nesse processo, pois o neurônio não participa das passagens direta e inversa.
• Durante a fase de teste, o dropout não é aplicado, e as saídas dos neurônios são escaladas para compensar a desativação durante o treino (por exemplo, multiplicando por (1 - p)).

Exemplo em pseudocódigo:

for neuron in layer:
    if training_mode:
        if random() < dropout_probability:
            neuron.output = 0
        else:
            neuron.output = neuron.output / (1 - dropout_probability)
    else:
        # Durante a inferência, o dropout não é aplicado
        pass

Assim, o dropout ajuda a tornar o modelo mais robusto e menos propenso ao sobreajuste.