Hogyan ellenőrizhetjük, mire alapul a modell?

Annak megértéséhez, hogy a modell mire alapozva hoz döntéseket, a modellek értelmezhetőségi módszereit alkalmazzák. Például:

• Feature Importance — megmutatja, mely jellemzők befolyásolják leginkább a predikciókat.
• SHAP (SHapley Additive exPlanations) — elmagyarázza minden jellemző hozzájárulását egy adott predikcióhoz.
• LIME (Local Interpretable Model-agnostic Explanations) — helyileg közelíti a modellt egy egyszerű, értelmezhető modellel.

Pythonban a SHAP használatának példája:

import shap
explainer = shap.Explainer(model, data)
shap_values = explainer(data)
shap.summary_plot(shap_values, data)

Így vizuálisan és mennyiségileg is értékelhetjük, hogy mely jellemzők és milyen mértékben befolyásolják a modell kimenetét.