Что хотят услышать интервьюеры:

Остановку отбора признаков определяют не по количеству убранных колонок, а по качеству модели на валидации. Если после удаления очередных признаков метрика больше не улучшается или начинает ухудшаться, значит дальнейший отбор уже не даёт пользы. Важно учитывать не только качество, но и стабильность, интерпретируемость и стоимость вычислений.

Определение:

Остановить отбор признаков стоит тогда, когда дальнейшее сокращение набора перестаёт улучшать целевую метрику или начинает её ухудшать. Практически это определяют через кросс-валидацию, отдельную валидационную выборку, анализ переобучения и бизнес-ограничения. Идея в том, чтобы найти баланс между качеством модели, её устойчивостью и простотой.

Пример использования:

Допустим, строится модель для предсказания оттока клиентов. После удаления части слабых признаков качество на валидации растёт с 0.81 до 0.84, но дальше при ещё большем сокращении падает до 0.82. В этом случае остановка происходит на наборе признаков, где метрика максимальна, потому что дальнейший отбор уже ухудшает обобщающую способность.

from sklearn.model_selection import cross_val_score
from sklearn.linear_model import LogisticRegression
import numpy as np

def score_with_features(X, y, features):
    model = LogisticRegression(max_iter=1000)
    scores = cross_val_score(model, X[features], y, cv=5, scoring="roc_auc")
    return scores.mean()

best_score = -np.inf
best_features = None
patience = 2
no_improve = 0

current_features = all_features.copy()

for candidate_features in feature_subsets:
    score = score_with_features(X, y, candidate_features)

    if score > best_score + 0.001:
        best_score = score
        best_features = candidate_features
        no_improve = 0
    else:
        no_improve += 1

    if no_improve >= patience:
        break

Пояснение кода:

В примере набор признаков оценивается через кросс-валидацию.
Если очередной набор даёт заметное улучшение метрики, он считается лучшим.
Если улучшения нет несколько итераций подряд, процесс останавливается — это аналог практики early stopping, но для отбора признаков.
Порог улучшения и patience помогают не реагировать на шум в метрике.

Ключевые моменты:

Основной критерий остановки — метрика на валидации, а не число оставшихся признаков.
Если качество стабилизировалось или начало падать, отбор пора завершать.
Нужно смотреть на разброс метрики по фолдам, чтобы не принять шум за улучшение.
Важно учитывать переобучение: меньше признаков не всегда означает лучшую модель.
Иногда останавливаются раньше ради интерпретируемости, скорости инференса или снижения стоимости системы.
Хорошая практика — фиксировать правило остановки заранее: порог улучшения, patience или целевой лимит на размер модели.

Как понять, когда остановить отбор признаков?