Jak sprawdzić, na czym opiera się model?

Aby zrozumieć, na czym opiera się model przy podejmowaniu decyzji, stosuje się metody interpretowalności modeli. Na przykład:

• Feature Importance — pokazuje, które cechy mają największy wpływ na przewidywania.
• SHAP (SHapley Additive exPlanations) — wyjaśnia wkład każdej cechy w konkretne przewidywanie.
• LIME (Local Interpretable Model-agnostic Explanations) — lokalnie aproksymuje model prostym, interpretowalnym modelem.

Przykład użycia SHAP dla modelu w Pythonie:

import shap
explainer = shap.Explainer(model, data)
shap_values = explainer(data)
shap.summary_plot(shap_values, data)

W ten sposób można wizualnie i ilościowo ocenić, które cechy i w jakim stopniu wpływają na wynik modelu.