Hoe weet je wanneer je de feature selectie moet stoppen?

Het stoppen van de kenmerkenselectie wordt aanbevolen wanneer het verder uitsluiten of toevoegen van kenmerken de modelkwaliteit niet meer verbetert of begint te verslechteren. Men meestal op kwaliteitsmetingen (bijvoorbeeld nauwkeurigheid, F1, ROC-AUC) op de validatiegegevens. Als na een stap van kenmerkenselectie:

• de metriek niet verbetert,
• of de verbetering minimaal is,
• of het model te complex wordt,

is dit een signaal om te stoppen.

Het is ook belangrijk om de balans tussen prestaties en complexiteit van het model te overwegen: te veel kenmerken kunnen leiden tot overfitting en de training/predictietijd verhogen.

Voorbeeld: bij gebruik van recursieve feature eliminatie (RFE) kun je stoppen wanneer de metriek op de validatie haar maximum bereikt of begint te dalen.