¿Cómo verificar en qué se basa el modelo?

Para entender en qué se basa el modelo al tomar decisiones, se utilizan métodos de interpretación de modelos. Por ejemplo:

• Importancia de características — muestra qué atributos influyen más en las predicciones.
• SHAP (SHapley Additive exPlanations) — explica la contribución de cada atributo en una predicción concreta.
• LIME (Local Interpretable Model-agnostic Explanations) — aproxima localmente el modelo con un modelo simple e interpretable.

Ejemplo de uso de SHAP para un modelo en Python:

import shap
explainer = shap.Explainer(model, data)
shap_values = explainer(data)
shap.summary_plot(shap_values, data)

De esta manera, se puede evaluar visual y cuantitativamente qué atributos y en qué medida influyen en la salida del modelo.