Comment savoir quand arrêter la sélection de caractéristiques?

Arrêter la sélection de caractéristiques est conseillé lorsque l'exclusion ou l'ajout supplémentaire de caractéristiques ne contribue plus à améliorer la qualité du modèle ou commence à la détériorer. On se base généralement sur des métriques de qualité (par exemple, précision, F1, ROC-AUC) sur l'échantillon de validation. Si après une étape de sélection de caractéristiques :

• la métrique n'est pas améliorée,
• ou l'amélioration est insignifiante,
• ou le modèle devient trop complexe,

c'est un signal pour arrêter.

Il est également important de considérer l'équilibre entre la performance et la complexité du modèle : trop de caractéristiques peuvent conduire à un surapprentissage et augmenter le temps d'entraînement/prédiction.

Exemple : lors de l'utilisation de la suppression récursive de caractéristiques (RFE), on peut s'arrêter lorsque la métrique sur la validation atteint son maximum ou commence à diminuer.