Ako lahko stranka razume, da lastnost ni pomembna, brez uporabe pomembnosti lastnosti v modelu črne skrinje?

Ak je model „čierna skrinka“ a nemá zabudovaný mechanizmus dôležitosti čŕt, môže zákazník hodnotiť dôležitosť črty pomocou experimentálnych metód:

• Odstránenie črty: odstráňte črtu z dát a sledujte, ako veľmi sa zhorší kvalita modelu. Ak sa kvalita nemení alebo mení nepatrne, črta môže byť považovaná za nedôležitú.

• Permutácia črty: náhodne premiešajte hodnoty črty v testovacej sade a merajte pokles metriky. Malý pokles naznačuje nízku dôležitosť.

• Analýza korelácie: ak črta silno koreluje s inými, jej vplyv môže byť nadbytočný.

Týmto spôsobom, bez vnútornej interpretácie modelu, je možné použiť vonkajšie metódy na hodnotenie vplyvu čŕt na výsledok.