Kako proveriti na čemu se model zasniva?

Да би разумели на чему се базира модел приликом доношења одлука, користе се методе интерпретабилности модела. На пример:

• Feature Importance — показује који признаци највише утичу на предвиђања.
• SHAP (SHapley Additive exPlanations) — објашњава допринос сваког признака у конкретном предвиђању.
• LIME (Local Interpretable Model-agnostic Explanations) — локално апроксимира модел једноставним интерпретабилним моделом.

Пример коришћења SHAP за модел у Python-у:

import shap
explainer = shap.Explainer(model, data)
shap_values = explainer(data)
shap.summary_plot(shap_values, data)

На овај начин се може визуелно и квантитативно проценити који признаци и у којој мери утичу на излаз модела.