Что такое SHAP для деревянных моделей и зачем TreeSHAP?

SHAP (SHapley Additive exPlanations) — это метод объяснения предсказаний моделей машинного обучения на основе теории игр. Он вычисляет вклад каждого признака в итоговое предсказание, распределяя «влияние» по признакам справедливо и последовательно.

Для деревьев решений и ансамблей деревьев (например, градиентного бустинга) существует оптимизированный алгоритм TreeSHAP, который эффективно вычисляет значения SHAP, учитывая структуру дерева. Это позволяет быстро и точно понять, как каждый признак влияет на предсказание модели.

TreeSHAP полезен для интерпретируемости моделей, особенно в табличных данных, где важно понять влияние признаков и объяснить решения модели пользователям или бизнесу.