Cos'è l'ottimizzazione bayesiana per HPO?

L’ottimizzazione bayesiana è un metodo di ottimizzazione utilizzato per cercare in modo efficiente gli iperparametri ottimali del modello (HPO — Ottimizzazione degli Iperparametri).

L’idea è che, invece di esplorare tutte le possibili combinazioni di iperparametri (cosa che può essere molto costosa), l’algoritmo costruisce un modello probabilistico della dipendenza della qualità del modello dagli iperparametri. Di solito si utilizza un processo gaussiano o altri modelli per valutare la funzione di risposta.

Successivamente, sulla base di questo modello, vengono scelti gli iperparametri più promettenti per il prossimo run, permettendo di trovare configurazioni ottimali più rapidamente.

Processo approssimativo:

1. Selezione di punti iniziali (insiemi di iperparametri) e valutazione della qualità del modello.
2. Costruzione di un modello probabilistico (modello surrogato) della funzione di qualità.
3. Con l’aiuto di una funzione di acquisizione, si sceglie il prossimo insieme di iperparametri da testare.
4. Si ripete fino al raggiungimento di un criterio di arresto.

Questo permette di ridurre significativamente il numero di esecuzioni del modello rispetto alla ricerca esaustiva o casuale.