Kā klients var saprast, ka īpašība nav nozīmīga, neizmantojot funkciju svarīgumu melnās kastes modelī?

Ja modelis ir «melna kaste» un tajā nav iebūvēta funkciju svarīguma mehānisma, klients var novērtēt funkcijas nozīmīgumu, izmantojot eksperimentālas metodes:

• Funkcijas noņemšana: noņemiet funkciju no datiem un skatieties, cik ļoti pasliktinās modeļa kvalitāte. Ja kvalitāte nemainās vai mainās nenozīmīgi, funkciju var uzskatīt par nenozīmīgu.

• Permutācijas metode: nejauši sajauciet funkcijas vērtības testu kopā un mēriet metrikas kritumu. Mazs kritums norāda uz zemu nozīmīgumu.

• Korelācijas analīze: ja funkcija ir stipri korelēta ar citām, tās ietekme var būt lieka.

Šādā veidā, bez iekšējas modeļa interpretācijas, var izmantot ārējas metodes funkciju ietekmes novērtēšanai uz rezultātu.