O que é otimização bayesiana para HPO?

A otimização bayesiana é um método de otimização utilizado para procurar de forma eficiente os hiperparâmetros ótimos do modelo (HPO — Otimização de Hiperparâmetros).

A ideia é que, em vez de explorar todas as combinações possíveis de hiperparâmetros (o que pode ser muito dispendioso), o algoritmo constrói um modelo probabilístico da dependência da qualidade do modelo em relação aos hiperparâmetros. Normalmente, utiliza-se um processo gaussiano ou outros modelos para avaliar a função de resposta.

Depois, com base neste modelo, selecionam-se os hiperparâmetros mais promissores para a próxima execução, o que permite encontrar configurações boas mais rapidamente.

Processo aproximado:

1. Escolha de pontos iniciais (conjuntos de hiperparâmetros) e avaliação da qualidade do modelo.
2. Construção de um modelo probabilístico (modelo substituto) da função de qualidade.
3. Com a ajuda de uma função de aquisição, seleciona-se o próximo conjunto de hiperparâmetros a testar.
4. Repetir até atingir o critério de paragem.

Isto permite reduzir significativamente o número de execuções do modelo em comparação com a busca exaustiva ou aleatória.