Bir müşteri, özellik önemi kullanmadan bir kara kutu modelinde bir özelliğin önemsiz olduğunu nasıl anlayabilir?

Model bir «siyah kutu» ise ve yerleşik bir özellik önemi mekanizması yoksa, müşteri deneysel yöntemlerle bir özelliğin önemini değerlendirebilir:

• Özelliği kaldırma: Özelliği verilerden çıkarın ve modelin kalitesinin ne kadar kötüleştiğine bakın. Kalite değişmiyorsa veya önemsiz derecede değişiyorsa, özellik önemsiz sayılabilir.

• Özelliğin permutasyonu: Test kümesinde özelliğin değerlerini rastgele karıştırın ve metriğin düşüşünü ölçün. Küçük bir düşüş düşük önemi gösterecektir.

• Korelasyon analizi: Bir özellik diğerleriyle güçlü korelasyona sahipse, etkisi fazlalık olabilir.

Bu şekilde, modelin iç yorumlaması olmadan, dış yöntemler kullanılarak özelliklerin sonuç üzerindeki etkisi değerlendirilebilir.