Что такое model interpretability и какие методы (SHAP, LIME, Integrated Gradients)?

Model interpretability — это способность понять и объяснить, как и почему модель машинного обучения принимает те или иные решения. Это важно для доверия к модели, отладки и соблюдения нормативных требований.

Основные методы интерпретируемости:

• SHAP (SHapley Additive exPlanations) — основан на теории игр, вычисляет вклад каждого признака в предсказание модели, предоставляя объяснения в виде значений влияния признаков.

• LIME (Local Interpretable Model-agnostic Explanations) — строит локальную интерпретируемую модель (например, линейную) вокруг конкретного предсказания, чтобы объяснить поведение сложной модели в окрестности этого примера.

• Integrated Gradients — метод для нейросетей, который вычисляет интеграл градиентов выходного значения модели по входным признакам, начиная от базового (обычно нулевого) входа до текущего, показывая важность каждого признака.

Пример использования SHAP на Python:

import shap
explainer = shap.TreeExplainer(model)
shap_values = explainer.shap_values(X_test)
shap.summary_plot(shap_values, X_test)

Таким образом, interpretability помогает понять, какие признаки и как влияют на решения модели.