Come verificare su cosa si basa il modello?

Per capire su cosa si basa il modello nel prendere decisioni, si utilizzano metodi di interpretabilità dei modelli. Ad esempio:

• Feature Importance — mostra quali caratteristiche influenzano maggiormente le previsioni.
• SHAP (SHapley Additive exPlanations) — spiega il contributo di ogni caratteristica in una previsione specifica.
• LIME (Local Interpretable Model-agnostic Explanations) — approssima localmente il modello con un modello semplice e interpretabile.

Esempio di utilizzo di SHAP per un modello in Python:

import shap
explainer = shap.Explainer(model, data)
shap_values = explainer(data)
shap.summary_plot(shap_values, data)

In questo modo, è possibile valutare visivamente e quantitativamente quali caratteristiche e in che misura influenzano l'output del modello.