Como é que o dropout ajuda a evitar o sobreajuste em redes neuronais?

Dropout é uma técnica de regularização em redes neurais que ajuda a evitar o sobreajuste, desligando aleatoriamente uma parte dos neurônios durante o treinamento. Isso faz com que a rede não dependa excessivamente de neurônios individuais e suas conexões, aprendendo características mais robustas e generalizáveis.

A ideia é que, a cada passagem de treinamento, um subconjunto aleatório da rede seja criado, semelhante ao treinamento de um conjunto de modelos diferentes. Como resultado, o modelo fica menos propenso a sobreajustar, pois não consegue memorizar o ruído ou detalhes específicos do conjunto de treinamento.

Exemplo de uso do dropout no Keras:

from tensorflow.keras.layers import Dropout, Dense
from tensorflow.keras.models import Sequential

model = Sequential([
    Dense(128, activation='relu', input_shape=(input_dim,)),
    Dropout(0.5),  # desliga aleatoriamente 50% dos neurônios
    Dense(10, activation='softmax')
])

Aqui, Dropout com uma probabilidade de 0.5 desliga metade dos neurônios na camada durante o treinamento.