Como funciona o dropout durante o treino e a inferência?

Dropout é uma técnica de regularização de redes neurais que desliga aleatoriamente (zera) parte dos neurônios durante o treino para evitar o sobreajuste.

Durante o treino:

• Para cada exemplo de entrada, uma percentagem determinada de neurônios é desligada aleatoriamente (por exemplo, 20-50%).
• Isso faz com que a rede não dependa de neurônios específicos e melhora a sua capacidade de generalização.

Durante a inferência (previsão):

• Dropout não é aplicado, todos os neurônios estão ativos.
• Para compensar a ausência de desligamento de neurônios, os pesos são escalados (geralmente multiplicados pela probabilidade de ativação do neurônio), ou é utilizado escalonamento durante o treino (dropout invertido).

Assim, o dropout ajuda a tornar o modelo mais robusto e menos propenso a sobreajustar, mas durante a inferência, a rede funciona completamente sem desligamentos aleatórios.