Was ist Optuna und welche Pruners hat es?

Optuna ist eine Bibliothek für die automatische Hyperparameter-Optimierung (HPO) in maschinellen Lernaufgaben. Sie ermöglicht die effiziente Suche nach den besten Modellparametern mittels bayesscher Optimierungsmethoden und anderer Strategien.

Pruners in Optuna sind Mechanismen, die fehlgeschlagene oder wenig vielversprechende Versuche (Trials) in frühen Phasen abbrechen, um Rechenressourcen zu sparen. Sie analysieren Zwischenergebnisse und entscheiden, ob es sich lohnt, das Training fortzusetzen.

Die wichtigsten Pruners in Optuna:

• MedianPruner — beendet Versuche, wenn ihre Zwischenergebnisse schlechter sind als die Medianwerte anderer Versuche auf derselben Stufe.
• PercentilePruner — bricht Versuche ab, wenn ihre Ergebnisse schlechter sind als ein festgelegtes Perzentil.
• SuccessiveHalvingPruner — implementiert eine Strategie der sequenziellen Reduktion der Anzahl der Versuche, wobei nur die besten verbleiben.
• HyperbandPruner — Erweiterung von SuccessiveHalving mit adaptiver Ressourcenverwaltung.

Der Einsatz von Pruners hilft, den Optimierungsprozess zu beschleunigen, indem er sich auf die vielversprechendsten Konfigurationen konzentriert.