Welche kostenbewussten HPO-Ansätze gibt es?

Kostenbewusstes HPO (Hyperparameter Optimization) sind Ansätze zur Optimierung von Hyperparametern von Modellen unter Berücksichtigung der Berechnungskosten (Zeit, Ressourcen). Die Hauptmethoden umfassen:

• Multi-Fidelity-Optimierung: nutzt Bewertungen auf vereinfachten Versionen der Aufgabe (z.B. mit weniger Daten oder weniger Epochen), um schlechte Optionen schnell auszuschließen.
• Frühes Stoppen: unterbricht das Training von Modellen, die früh schlechte Ergebnisse zeigen, um Ressourcen zu sparen.
• Bayessche Optimierung unter Berücksichtigung der Kosten: Modifikation des klassischen bayesschen Ansatzes, bei dem nicht nur die Qualität des Modells, sondern auch die Berechnungskosten bei der Auswahl des nächsten Punktes berücksichtigt werden.
• Multi-Armed Bandits: Verteilung der Rechenressourcen zwischen verschiedenen Konfigurationen, wobei vielversprechendere bevorzugt werden.

Diese Methoden helfen, begrenzte Ressourcen effizient bei der Suche nach optimalen Hyperparametern zu nutzen.