Cum poate un client să înțeleagă că o caracteristică nu este semnificativă fără a folosi importanța caracteristicilor într-un model de tip cutie neagră?

Dacă modelul este o „cutie neagră” și nu are un mecanism încorporat de importanță a caracteristicilor, clientul poate evalua importanța unei caracteristici prin metode experimentale:

• Eliminarea caracteristicii: eliminați caracteristica din date și observați cât de mult se înrăutățește calitatea modelului. Dacă calitatea nu se schimbă sau se schimbă nesemnificativ, caracteristica poate fi considerată nesemnificativă.

• Permutarea caracteristicii: amestecați aleator valorile caracteristicii în setul de test și măsurați scăderea metricii. O scădere mică indică o importanță scăzută.

• Analiza corelației: dacă o caracteristică este puternic corelată cu altele, influența sa poate fi redundantă.

Astfel, fără interpretare internă a modelului, se pot folosi metode externe pentru a evalua influența caracteristicilor asupra rezultatului.