Hoe kan een klant begrijpen dat een kenmerk niet significant is zonder feature importance te gebruiken in een black box-model?

Als het model een «zwarte doos» is en geen ingebouwd mechanisme voor feature importance heeft, kan de klant de belangrijkheid van een kenmerk beoordelen via experimentele methoden:

• Verwijderen van het kenmerk: verwijder het kenmerk uit de gegevens en kijk hoezeer de kwaliteit van het model verslechtert. Als de kwaliteit niet verandert of slechts minimaal, kan het kenmerk als onbeduidend worden beschouwd.

• Permutatie van het kenmerk: door de waarden van het kenmerk willekeurig te door elkaar te halen in de testset en de daling van de metriek te meten. Een kleine daling wijst op een lage belangrijkheid.

• Correlatieanalyse: als een kenmerk sterk correleert met andere, kan zijn invloed overbodig zijn.

Op deze manier kunnen externe methoden worden gebruikt om de invloed van kenmerken op het resultaat te beoordelen zonder interne interpretatie van het model.