Чем grid search отличается от random search? Когда random быстрее?

Grid Search — это метод перебора гиперпараметров, при котором перебираются все возможные комбинации из заранее заданных значений параметров. Random Search же случайным образом выбирает комбинации параметров из заданных диапазонов или списков.

Random Search может быть быстрее, когда пространство гиперпараметров большое и не все параметры одинаково важны. В таких случаях случайный выбор позволяет быстрее найти хорошие комбинации, не тратя время на перебор всех вариантов, многие из которых могут быть неэффективны.

Пример: если у вас 5 параметров с 10 значениями каждый, Grid Search проверит 10^5 = 100000 комбинаций, а Random Search может ограничиться, например, 1000 случайными попытками, что значительно быстрее.