Что хотят услышать интервьюеры:

Нужно уметь проверить, какие признаки и закономерности реально влияют на предсказание модели. Обычно ожидают ответ про интерпретируемость, анализ важности признаков, локальные объяснения и проверку устойчивости на сдвигах данных. Важно показать, что не только смотрите на метрики, но и проверяете, не опирается ли модель на случайные корреляции или утечку.

Определение:

Проверить, на чем модель основывается, значит понять, какие входные признаки, паттерны и зависимости реально используются для принятия решения. Это делают с помощью глобальной и локальной интерпретации: смотрят важность признаков, поведение модели при изменении входов, вклад отдельных факторов в конкретный прогноз, а также сравнивают выводы модели с доменными ожиданиями.

Пример использования:

Допустим, модель одобрения кредитов показывает высокую точность, но нужно понять, не принимает ли она решение по косвенным и опасным признакам. Сначала анализируют важность признаков, затем проверяют влияние каждого признака через permutation importance или SHAP, а после — делают sanity-check: меняют один признак и смотрят, как меняется прогноз.

from sklearn.inspection import permutation_importance

result = permutation_importance(model, X_valid, y_valid, n_repeats=10, random_state=42)

for i in result.importances_mean.argsort()[::-1]:
    print(f"{X_valid.columns[i]}: {result.importances_mean[i]:.4f}")

Пояснение кода:

Этот пример показывает permutation importance — способ проверить, насколько модель зависит от каждого признака. Сначала считается качество модели на валидации. Потом значения одного признака перемешиваются, чтобы разрушить связь с таргетом, и качество пересчитывается. Если метрика сильно падает, значит модель действительно опиралась на этот признак; если почти не меняется, вклад признака низкий.

Ключевые моменты:

Важно различать глобальную интерпретацию модели и локальное объяснение конкретного предсказания.
Полезные методы: feature importance, permutation importance, SHAP, LIME, partial dependence plots.
Нужно проверять, нет ли утечки данных, коррелирующих суррогатных признаков и неустойчивых зависимостей.
Хорошая практика — сравнивать объяснения с предметной областью и здравым смыслом.
Для сложных моделей интерпретируемость часто проверяют в сочетании с тестами на чувствительность к изменению входов.
Если модель опирается на “неправильные” признаки, высокая метрика сама по себе не означает надежность.

Как проверить, на чем модель основывается?