Что такое early stopping в HPO (ASHA, Hyperband)?

Early stopping в HPO (Hyperparameter Optimization), например в алгоритмах ASHA и Hyperband, — это метод досрочного прекращения обучения моделей, которые показывают плохие результаты на ранних этапах. Идея в том, чтобы не тратить ресурсы на полное обучение гиперпараметров, которые с большой вероятностью не дадут хорошего результата.

В ASHA (Asynchronous Successive Halving Algorithm) и Hyperband происходит последовательное выделение ресурсов (например, эпох обучения) на множество конфигураций гиперпараметров. После каждой итерации (промежуточного шага) оцениваются результаты, и худшие конфигурации отбрасываются (early stopping), а лучшие получают больше ресурсов для дальнейшего обучения.

Это позволяет эффективно использовать вычислительные ресурсы и быстрее находить оптимальные гиперпараметры, избегая полного обучения всех вариантов.