Que abordagens de HPO conscientes do custo existem?

O HPO consciente do custo (Otimização de hiperparâmetros) são abordagens para otimizar os hiperparâmetros dos modelos considerando o custo computacional (tempo, recursos). Os principais métodos incluem:

• Otimização de multi-fidelidade: usa avaliações em versões simplificadas da tarefa (por exemplo, com menos dados ou menos épocas) para eliminar rapidamente as opções ruins.
• Parada precoce: interrompe o treinamento de modelos que mostram resultados ruins nas fases iniciais para economizar recursos.
• Otimização bayesiana considerando o custo: modificação da abordagem bayesiana clássica, onde se considera não apenas a qualidade do modelo, mas também o custo de cálculo ao escolher o próximo ponto.
• Bandas multi-braço: distribuição de recursos computacionais entre diferentes configurações, dando preferência às mais promissoras.

Esses métodos ajudam a usar de forma eficiente os recursos limitados na busca por hiperparâmetros ótimos.