Hangi maliyet-farkındalıklı HPO yaklaşımları mevcuttur?

Maliyet farkındalıklı HPO (Hiperparametre Optimizasyonu) modellerin hiperparametrelerini hesaplama maliyetini (zaman, kaynaklar) dikkate alarak optimize etme yaklaşımlarıdır. Temel yöntemler şunları içerir:

• Çok-dürüstlükli Optimizasyon: görevin basitleştirilmiş versiyonlarında (örneğin, daha az veri veya daha az epoch ile) değerlendirmeler kullanarak kötü seçenekleri hızla eler.
• Erken Durdurma: erken aşamalarda kötü sonuçlar gösteren modellerin eğitimini durdurarak kaynak tasarrufu sağlar.
• Maliyet dikkate alan Bayesian Optimizasyonu: klasik Bayesian yaklaşımının modifikasyonu, burada sadece model kalitesi değil, aynı zamanda hesaplama maliyeti de dikkate alınır ve bir sonraki nokta seçilir.
• Çok kollu banditler: farklı yapılandırmalar arasında hesaplama kaynaklarının dağıtılması, daha umut vaat edenlere öncelik verilir.

Bu yöntemler, sınırlı kaynakların verimli kullanılmasına yardımcı olur ve optimal hiperparametreleri aramada etkilidir.