Cum verifici pe ce se bazează modelul?

Pentru a înțelege pe ce se bazează modelul în luarea deciziilor, se utilizează metode de interpretare a modelelor. De exemplu:

• Importanța caracteristicilor — arată care caracteristici influențează cel mai mult predicțiile.
• SHAP (SHapley Additive exPlanations) — explică contribuția fiecărei caracteristici la o predicție specifică.
• LIME (Local Interpretable Model-agnostic Explanations) — aproximează local modelul cu un model simplu și interpretabil.

Exemplu de utilizare a SHAP pentru un model în Python:

import shap
explainer = shap.Explainer(model, data)
shap_values = explainer(data)
shap.summary_plot(shap_values, data)

Astfel, se poate evalua vizual și cantitativ ce caracteristici și în ce măsură influențează rezultatul modelului.