Как выбирали модель и гиперпараметры, и как подбирали порог классификации?

Выбор модели и гиперпараметров обычно начинается с анализа задачи и доступных данных. Часто сначала пробуют несколько базовых моделей (например, логистическая регрессия, случайный лес, градиентный бустинг) и оценивают их качество на валидационной выборке.

Гиперпараметры подбирают с помощью методов поиска, таких как Grid Search или Random Search, иногда с использованием кросс-валидации для более надежной оценки. Это позволяет найти оптимальные настройки, повышающие качество модели.

Порог классификации выбирается на основе метрик, важных для задачи (например, F1-score, ROC-AUC, Precision-Recall). Обычно строят ROC-кривую или Precision-Recall кривую и выбирают порог, который обеспечивает баланс между полнотой и точностью, соответствующий бизнес-требованиям.

Пример на Python с использованием sklearn:

from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV
from sklearn.metrics import precision_recall_curve

# Обучение модели с подбором гиперпараметров
param_grid = {'n_estimators': [50, 100], 'max_depth': [5, 10]}
clf = GridSearchCV(RandomForestClassifier(), param_grid, cv=3)
clf.fit(X_train, y_train)

# Предсказание вероятностей
probs = clf.predict_proba(X_val)[:, 1]

# Подбор порога классификации
precision, recall, thresholds = precision_recall_curve(y_val, probs)
# Выбираем порог, максимизирующий F1
f1_scores = 2 * precision * recall / (precision + recall)
best_threshold = thresholds[f1_scores.argmax()]