Что хотят услышать интервьюеры:

Гиперпараметры не имеют фиксированного универсального диапазона: их значения зависят от конкретной модели, данных и метрики качества. Обычно подбирают разумный поисковый диапазон на основе практики, ограничений алгоритма и предварительных экспериментов. Для части гиперпараметров диапазон задаётся явно, для других — из допустимых значений или категорий.

Определение:

Гиперпараметры — это настройки модели, которые задают до обучения и не вычисляются из данных напрямую. Их диапазон зависит от типа параметра: одни бывают числовыми и подбираются в интервале, другие принимают только дискретные или категориальные значения. Например, learning rate обычно ищут в диапазоне порядков величин, а число деревьев — в наборе целых значений.

Пример использования:

При настройке случайного леса можно искать число деревьев в диапазоне от 100 до 1000, а глубину дерева — от 3 до 30. Для градиентного бустинга learning rate часто перебирают в логарифмическом диапазоне, например от 0.001 до 0.3.

param_grid = {
    "n_estimators": [100, 200, 500, 1000],
    "max_depth": [3, 5, 10, 20, 30],
    "learning_rate": [0.001, 0.01, 0.05, 0.1, 0.3]
}

Пояснение кода:

Код показывает пример сетки гиперпараметров для перебора.
n_estimators задан набором целых значений, потому что это количество деревьев.
max_depth тоже дискретный параметр: глубина дерева не бывает дробной.
learning_rate перебирается по нескольким фиксированным значениям, чтобы найти баланс между скоростью обучения и качеством.

Ключевые моменты:

Универсального диапазона для гиперпараметров не существует.
Диапазон зависит от алгоритма, данных и целевой метрики.
Числовые параметры часто ищут в логарифмическом масштабе.
Дискретные параметры задают списком допустимых значений.
Слишком широкий диапазон ухудшает поиск, слишком узкий может пропустить лучший вариант.
Практично начинать с разумных границ и уточнять их по результатам экспериментов.

В каком диапазоне задаются гиперпараметры модели?