Como verificar em que se baseia o modelo?

Para entender em que o modelo se base ao tomar decisões, utilizam-se métodos de interpretação de modelos. Por exemplo:

• Importância de Características — mostra quais atributos influenciam mais as previsões.
• SHAP (SHapley Additive exPlanations) — explica a contribuição de cada atributo numa previsão específica.
• LIME (Local Interpretable Model-agnostic Explanations) — aproxima localmente o modelo com um modelo simples e interpretável.

Exemplo de uso do SHAP para um modelo em Python:

import shap
explainer = shap.Explainer(model, data)
shap_values = explainer(data)
shap.summary_plot(shap_values, data)

Dessa forma, é possível avaliar visual e quantitativamente quais atributos e em que grau eles influenciam a saída do modelo.