Wie kann ein Kunde erkennen, dass ein Merkmal ohne Verwendung der Feature-Importance in einem Black-Box-Modell unwichtig ist?

Wenn das Modell eine „Black Box“ ist und keinen eingebauten Mechanismus für die Feature-Importance hat, kann der Kunde die Bedeutung eines Merkmals durch experimentelle Methoden bewerten:

• Entfernen des Merkmals: Das Merkmal aus den Daten entfernen und beobachten, wie sehr sich die Qualität des Modells verschlechtert. Wenn sich die Qualität nicht ändert oder nur geringfügig, kann das Merkmal als unwichtig angesehen werden.

• Permutation des Merkmals: Die Werte des Merkmals in der Testprobe zufällig permutieren und den Rückgang der Metrik messen. Ein geringer Rückgang weist auf eine geringe Bedeutung hin.

• Korrelationsanalyse: Wenn ein Merkmal stark mit anderen korreliert, kann sein Einfluss redundant sein.

Auf diese Weise können ohne interne Modellinterpretation externe Methoden zur Bewertung des Einflusses von Merkmalen auf das Ergebnis verwendet werden.