Что такое Hyperband и Successive Halving?

Hyperband и Successive Halving — это методы оптимизации гиперпараметров, направленные на эффективное распределение вычислительных ресурсов при поиске лучших моделей.

Successive Halving (SH) — это итеративный алгоритм, который начинает с большого количества конфигураций гиперпараметров, обучая каждую на небольшой части ресурсов (например, эпохах обучения). Затем он отбрасывает худшие половины конфигураций и выделяет больше ресурсов оставшимся. Процесс повторяется, пока не останется одна или несколько лучших конфигураций.

Hyperband расширяет Successive Halving, используя стратегию многократного запуска SH с разным начальным количеством ресурсов и конфигураций. Он автоматически балансирует между исследованием большого числа конфигураций с малым ресурсом и тщательным обучением меньшего числа конфигураций с большим ресурсом. Это позволяет более эффективно использовать вычислительные ресурсы и быстрее находить хорошие гиперпараметры.

Примерный псевдокод Successive Halving:

configs = generate_many_configs()
resource = initial_small_resource
while len(configs) > 1:
    results = train_and_evaluate(configs, resource)
    configs = select_top_half(results)
    resource *= 2  # увеличиваем ресурс

Hyperband запускает этот цикл несколько раз с разными начальными параметрами.