Ako skontrolovať, na čom je model založený?

Aby sme pochopili, na čom je model pri odlučivanju zasnovan, koriste se metode interpretabilnosti modela. Na primer:

• Feature Importance — pokazuje koji atributi najviše utiču na predviđanja.
• SHAP (SHapley Additive exPlanations) — objašnjava doprinos svakog atributa u konkretnoj prognozi.
• LIME (Local Interpretable Model-agnostic Explanations) — lokalno približava model jednostavnim i interpretabilnim modelom.

Primer korišćenja SHAP za model u Python-u:

import shap
explainer = shap.Explainer(model, data)
shap_values = explainer(data)
shap.summary_plot(shap_values, data)

Na ovaj način, može se vizuelno i kvantitativno proceniti koji atributi i u kojoj meri utiču na izlaz modela.