Hogyan lehet megérteni, mikor kell abbahagyni a jellemzők kiválasztását?

A jellemzők kiválasztásának leállítása akkor javasolt, amikor a további jellemzők kizárása vagy hozzáadása már nem javítja a modell minőségét, vagy elkezdi rontani azt. Általában a minőségi metrikákra (például pontosság, F1, ROC-AUC) támaszkodnak a validációs mintán. Ha a jellemzők kiválasztásának lépése után:

• a metrika nem javul,
• vagy a javulás jelentéktelen,
• vagy a modell túl bonyolult lesz,

ez a leállás jele.

Fontos figyelembe venni a teljesítmény és a modell összetettsége közötti egyensúlyt: túl sok jellemző túlillesztéshez vezethet, és növelheti a tanulási/predikciós időt.

Példa: a rekurszív jellemzők eltávolításánál (RFE) megállhatunk, amikor a validációs metrika eléri a maximumot vagy kezd csökkenni.