Quais são os métodos de combate ao overfitting e como eles funcionam?

O overfitting ocorre quando o modelo se ajusta demasiado bem aos dados de treino, perdendo a capacidade de generalizar a novos dados. Métodos para combater o overfitting:

• Regularização — adicionar uma penalização à função de perda pela complexidade do modelo. Por exemplo, regularizações L1 (Lasso) e L2 (Ridge) reduzem os pesos dos parâmetros, evitando que o modelo seja demasiado complexo.

• Paragem precoce — interromper o treino quando o erro no conjunto de validação começa a aumentar.

• Validação cruzada — ajuda a avaliar a capacidade de generalização do modelo e a escolher os hiperparâmetros ótimos.

• Aumento de dados (Data augmentation) — criar exemplos adicionais de treino para aumentar a diversidade dos dados.

• Dropout (para redes neuronais) — desligar aleatoriamente alguns neurônios durante o treino, o que reduz a dependência de características específicas.

• Reduzir a complexidade do modelo — escolher um modelo mais simples com menos parâmetros.

Exemplo de regularização L2 na função de perda:

( Loss = Loss_{original} + \lambda \sum w_i^2 )

donde ( \lambda ) é o coeficiente de regularização, ( w_i ) são os pesos do modelo.