Что такое model selection vs hyperparameter optimization?

Model selection — это процесс выбора лучшей модели из набора различных моделей (например, линейная регрессия, случайный лес, нейронная сеть) на основе их производительности на валидационных данных. Цель — найти архитектуру или тип модели, который лучше всего подходит для задачи.

Hyperparameter optimization (HPO) — это настройка параметров модели, которые не обучаются напрямую из данных, а задаются вручную (например, скорость обучения, глубина дерева, количество слоев). HPO направлена на поиск оптимальных значений этих параметров для улучшения качества модели.

Итого:

• Model selection — выбор типа модели.
• Hyperparameter optimization — настройка параметров выбранной модели.

Пример: сначала выбираем между SVM и Random Forest (model selection), затем для выбранной модели подбираем параметры, например, C и gamma для SVM (HPO).