Jak může zákazník pochopit, že vlastnost je nevýznamná bez použití důležitosti vlastností v modelu černé skříňky?

Pokud je model „černá skříňka” a nem má vestavěný mechanismus důležitosti rysů, může zákazník hodnotit důležitost rysu pomocí experimentálních metod:

• Odstranění rysu: odeberte rys z dat a sledujte, jak moc se zhorší kvalita modelu. Pokud se kvalita nemění nebo se mění nepatrně, lze rys považovat za nedůležitý.

• Permutace rysu: náhodně zamíchejte hodnoty rysu v testovací sadě a změřte pokles metriky. Malý pokles ukáže na nízkou důležitost.

• Analýza korelace: pokud rys silně koreluje s jinými, jeho vliv může být nadbytečný.

Tímto způsobem lze bez vnitřního vysvětlení modelu použít vnější metody k hodnocení vlivu rysů na výsledek.