Jak zjistit, na čem je model založen?

Pro pochopení toho, na čem je model při rozhodování založen, se používají metody interpretovatelnosti modelů. Například:

• Feature Importance — ukazuje, které znaky mají největší vliv na předpovědi.
• SHAP (SHapley Additive exPlanations) — vysvětluje přínos každého znaku k konkrétní předpovědi.
• LIME (Local Interpretable Model-agnostic Explanations) — lokálně aproximuje model jednoduchým interpretovatelným modelem.

Příklad použití SHAP pro model v Pythonu:

import shap
explainer = shap.Explainer(model, data)
shap_values = explainer(data)
shap.summary_plot(shap_values, data)

Tímto způsobem lze vizuálně a kvantitativně hodnotit, které znaky a v jaké míře ovlivňují výstup modelu.