Kako klijent može da shvati da atribut nije značajan bez korišćenja važnosti atributa u modelu crne kutije?

Ако је модел „црна кутија“ и нема уграђени механизам за важност карактеристика, купац може проценити важност карактеристике кроз експерименталне методе:

• Уклањање карактеристике: уклоните карактеристику из података и погледајте колико ће се погоршати квалитет модела. Ако се квалитет не мења или се мења незнатно, карактеристика се може сматрати неважном.

• Permutacija карактеристике: насумично мешајте вредности карактеристике у тест скупу и измерите пад метрике. Мало падова указује на ниску важност.

• Анализа корелације: ако карактеристика јако корелира са другим, њен утицај може бити вишак.

На овај начин, без интерне интерпретације модела, могу се користити спољне методе за процену утицаја карактеристика на резултат.