Kuidas saab klient aru, et tunnusjoon ei ole oluline, kasutades musta kasti mudelis funktsiooni olulisust?

Kui mudel on „must kast” ja sellel puudub sisseehitatud funktsioonide olulisuse mehhanism, saab klient hinnata funktsiooni olulisust katsemeetodite abil:

• Funktsiooni eemaldamine: eemaldage funktsioon andmetest ja jälgige, kui palju halveneb mudeli kvaliteet. Kui kvaliteet ei muutu või muutub vähe, võib funktsiooni pidada ebaoluliseks.

• Permutatsiooni meetod: juhuslikult segage funktsiooni väärtused testikomplektis ja mõõtke metrika langust. Väike langus näitab madalat olulisust.

• Korrelatsioonianalüüs: kui funktsioon on tugevalt seotud teistega, võib selle mõju olla üleliigne.

Sellisel viisil saab väliste meetodite abil hinnata funktsioonide mõju tulemusele, ilma mudeli sisemise tõlgenduseta.