Comment un client peut-il comprendre qu'une caractéristique n'est pas significative sans utiliser l'importance des caractéristiques dans un modèle boîte noire?

Si le modèle est une « boîte noire » et qu'il n'a pas de mécanisme intégré d'importance des caractéristiques, le client peut évaluer l'importance d'une caractéristique par des méthodes expérimentales:

• Suppression de la caractéristique : retirer la caractéristique des données et voir dans quelle mesure la qualité du modèle se dégrade. Si la qualité ne change pas ou change de manière insignifiante, la caractéristique peut être considérée comme non significative.

• Permutation de la caractéristique : mélanger aléatoirement les valeurs de la caractéristique dans l'échantillon de test et mesurer la chute de la métrique. Une chute faible indiquera une faible importance.

• Analyse de corrélation : si une caractéristique est fortement corrélée avec d'autres, son influence peut être redondante.

Ainsi, sans interprétation interne du modèle, on peut utiliser des méthodes externes pour évaluer l'influence des caractéristiques sur le résultat.