Kaip patikrinti, kuo grindžiasi modelis?

Norint suprasti, kuo remiasi modelis pri sprendimų priėmimą, naudojami modelių interpretavimo metodai. Pavyzdžiui:

• Feature Importance — rodo, kurie požymiai turi didžiausią įtaką prognozėms.
• SHAP (SHapley Additive exPlanations) — paaiškina kiekvieno požymio indėlį į konkretų prognozę.
• LIME (Local Interpretable Model-agnostic Explanations) — vietiškai apytikriai modelį su paprastu ir interpretuojamu modeliu.

Python pavyzdys, kaip naudoti SHAP:

import shap
explainer = shap.Explainer(model, data)
shap_values = explainer(data)
shap.summary_plot(shap_values, data)

Taip galima vizualiai ir kiekybiškai įvertinti, kurie požymiai ir kokiu mastu veikia modelio išvestį.