Kaip klientas gali suprasti, kad savybė nėra reikšminga, nesinaudodamas savybių svarbos modelyje juodojoje dėžėje?

Jei modelis yra „juodoji dėžutė“ ir jame nėra įmontuoto funkcijos svarbos mechanizmo, klientas gali įvertinti funkcijos svarbą naudodamasis eksperimentiniais metodais:

• Funkcijos pašalinimas: pašalinkite funkciją iš duomenų ir stebėkite, kaip blogės modelio kokybė. Jei kokybė nesikeičia arba keičiasi nežymiai, funkciją galima laikyti nereikšminga.

• Permutacijos metodas: atsitiktinai sumaišykite funkcijos reikšmes testavimo rinkinyje ir išmatuokite metrikos kritimą. Mažas kritimas rodo žemą svarbą.

• Koreliacijos analizė: jei funkcija stipriai koreliuoja su kitomis, jos įtaka gali būti perteklinė.

Taip, be vidinės modelio interpretacijos, galima naudoti išorinius metodus funkcijų įtakos vertinimui rezultatui.