Šta je early stopping u HPO (ASHA, Hyperband)?

Rano zaustavljanje u HPO (Optimizacija hiperparametara), na primer u algoritmima kao što su ASHA i Hyperband, je metoda za prerano zaustavljanje treninga modela koji pokazuju loše rezultate u ranim fazama. Ideja je da ne trošimo resurse na potpuno treniranje hiperparametara koji verovatno neće dati dobre rezultate.

U ASHA (Asinkroni algoritam sukcesivnog prepolovljenja) i Hyperband, resursi (npr. epohe treniranja) se sekvencijalno dodeljuju mnogim konfiguracijama hiperparametara. Nakon svake iteracije (među korak), rezultati se procenjuju, a najgore konfiguracije se odriču (early stopping), dok najbolje dobijaju više resursa za dalje treniranje.

Ovo omogućava efikasno korišćenje računarskih resursa i brže pronalaženje optimalnih hiperparametara, izbegavajući potpuno treniranje svih varijanti.