Como perceber quando parar a seleção de características?

Parar a seleção de características é aconselhável quando a exclusão ou adição adicional de características deixa de melhorar a qualidade do modelo ou começa a piorá-la. Normalmente, baseia-se em métricas de qualidade (por exemplo, precisão, F1, ROC-AUC) na amostra de validação. Se após uma etapa de seleção de características:

• a métrica não melhora,
• ou a melhoria é insignificante,
• ou o modelo torna-se demasiado complexo,

isso é um sinal para parar.

Também é importante considerar o equilíbrio entre desempenho e complexidade do modelo: muitas características podem levar ao sobreajuste e aumentar o tempo de treino/predição.

Exemplo: ao usar a eliminação recursiva de características (RFE), pode-se parar quando a métrica na validação atinge seu máximo ou começa a diminuir.