Как може клиентът да разбере, че признакът е незначителен, без да използва важността на признаците в модел с черна кутия?

Ако моделът е „черна кутия“ и няма вградени механизми за важността на характеристиките, клиентът може да оцени значимостта на характеристика чрез експериментални методи:

• Премахване на характеристиката: премахнете характеристиката от данните и наблюдавайте колко се влошава качеството на модела. Ако качеството не се променя или се променя незначително, характеристиката може да се счита за незначима.

• Пермутация на характеристиката: случайно разбъркайте стойностите на характеристиката в тестовия набор и измерете спадането на метриката. Малкото спадане ще посочи ниска важност.

• Анализ на корелацията: ако характеристика силно корелира с други, нейното влияние може да е излишно.

По този начин, без вътрешна интерпретация на модела, могат да се използват външни методи за оценка на влиянието на характеристиките върху резултата.