Mi az az Optuna és milyen pruners-okat használ?

Az Optuna egy könyvtár a gépi tanulási feladatok hiperparaméter-optimalizálására (HPO). Hatékonyan keresi a modellek legjobb paramétereit bayes-i optimalizációs módszerek és más stratégiák segítségével.

Az Pruners az Optunában olyan mechanizmusok, amelyek idő előtt megszakítanak (kiküldenek) sikertelen vagy kevésbé ígéretes próbálkozásokat (trials), így megtakarítva számítási erőforrásokat. Elemzik a közbenső eredményeket, és eldöntik, érdemes-e folytatni a tanulást.

Az Optuna fő prunerei:

• MedianPruner — leállítja a próbálkozásokat, ha azok közbenső eredményei rosszabbak, mint más próbálkozások mediánja ugyanazon a szinten.
• PercentilePruner — megszakítja a próbálkozásokat, ha eredményeik rosszabbak egy meghatározott percentilnél.
• SuccessiveHalvingPruner — egy szekvenciális csökkentési stratégiát valósít meg, csak a legjobbakat hagyva meg.
• HyperbandPruner — a SuccessiveHalving kiterjesztése, adaptív erőforrás-kezeléssel.

A prunerek használata felgyorsítja az optimalizációs folyamatot, és a legígéretesebb konfigurációkra összpontosít.