Come capire quando fermare la selezione delle caratteristiche?

Interrompere la selezione delle caratteristiche è consigliato quando l'esclusione o l'aggiunta di ulteriori caratteristiche smette di migliorare la qualità del modello o inizia a peggiorarla. Di solito si basa su metriche di qualità (ad esempio, precisione, F1, ROC-AUC) sul campione di validazione. Se dopo un passo di selezione delle caratteristiche:

• la metrica non migliora,
• o il miglioramento è insignificante,
• o il modello diventa troppo complesso,

questo è un segnale per fermarsi.

È anche importante considerare l'equilibrio tra prestazioni e complessità del modello: troppe caratteristiche possono portare a overfitting e aumentare i tempi di addestramento/previsione.

Esempio: usando la eliminazione ricorsiva delle caratteristiche (RFE), si può fermare quando la metrica sulla validazione raggiunge il massimo o inizia a diminuire.