Как проводили валидацию?

Валидация в машинном обучении проводится для оценки качества модели и предотвращения переобучения. Основные методы:

• Разделение данных на обучающую и тестовую выборки — базовый способ, когда модель обучается на одной части данных, а проверяется на другой.
• Кросс-валидация (Cross-validation) — данные разбиваются на несколько частей (folds), модель обучается на всех, кроме одного, и проверяется на оставшемся; процесс повторяется для всех частей, результаты усредняются.
• Отложенная выборка (Hold-out set) — выделяется отдельный набор данных, который не используется ни для обучения, ни для настройки гиперпараметров, а только для финальной оценки.

Пример кросс-валидации на Python с использованием scikit-learn:

from sklearn.model_selection import cross_val_score
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris

X, y = load_iris(return_X_y=True)
model = RandomForestClassifier()
scores = cross_val_score(model, X, y, cv=5)  # 5-fold cross-validation
print(f"Средняя точность: {scores.mean():.2f}")

Такой подход помогает получить более надежную оценку качества модели и выбрать оптимальные параметры.