Qual é o compromisso entre subtreinamento e sobretreinamento?

O compromisso entre subajuste (underfitting) e sobreajuste (overfitting) é um equilíbrio entre um modelo demasiado simples e um modelo demasiado complexo.

• Subajuste ocorre quando o modelo é demasiado simples e não consegue captar os padrões nos dados. Como resultado, ele funciona mal tanto nos dados de treino quanto nos novos dados.

• Sobreajuste ocorre quando o modelo é demasiado complexo e memoriza o ruído e as características aleatórias dos dados de treino, o que prejudica sua capacidade de generalizar para novos dados.

O compromisso é alcançado selecionando um modelo e parâmetros que sejam suficientemente complexos para capturar dependências importantes, mas não tão complexos a ponto de memorizar o ruído. Para isso, utilizam-se métodos de regularização, validação cruzada e ajuste de hiperparâmetros.

Exemplo: se você tem um modelo de regressão demasiado simples (por exemplo, linear em uma dependência complexa), ele estará subajustado, e se for demasiado complexo (por exemplo, um polinômio de alto grau), estará sobreajustado.