როგორ შეიძლება მომხმარებელმა გაიგოს, რომ თვისება მნიშვნელოვნად არ არის, თუ არ გამოიყენებს თვისებების მნიშვნელობას შავი ყუთის მოდელში?

თუ მოდელი — «შავი ყუთია» და მასში ინტეგრირებული ფუნქციის მნიშვნელობის მექანიზმი არ არის, მომხმარებელი ექსპერიმენტული მეთოდებით შეიძლება შეაფასოს ფუნქციის მნიშვნელობა:

• ფუნქციის ამოღება: ამოიღეთ ფუნქცია მონაცემებიდან და ნახეთ, რამდენად გაუარესდება მოდელის ხარისხი. თუ ხარისხი არ იცვლება ან მცირედ იცვლება, ფუნქცია შეიძლება ჩაითვალოს არასასურველად.

• Permutation მეთოდი: შემთხვევით შეუცვალეთ ფუნქციის მნიშვნელობები ტესტის ნაკრებში და გაზომეთ მეტრიკის დაცემა. მცირე დაცემა მიუთითებს დაბალ მნიშვნელობაზე.

• კორელაციის ანალიზი: თუ ფუნქცია ძლიერ კორელირებს სხვა ფუნქციებთან, მისი გავლენა შეიძლება იყოს ზედმეტი.

ამ გზით, მოდელის შიდა განმარტების გარეშე, შეიძლება გამოყენებულ იქნას გარე მეთოდები ფუნქციების გავლენის შეფასებისთვის შედეგზე.