Šta je Bayesian optimizacija za HPO?

Бејзјанова оптимизација је метода оптимизације која се користи за ефикасно проналажење оптималних хиперпараметара модела (HPO — Оптимизација хиперпараметара).

Идеја је да уместо прегледа свих могућих комбинација хиперпараметара (што може бити веома скупо), алгоритам гради вероватносни модел зависности квалитета модела од хиперпараметара. Обично се користи Гаусов процес или други модели за процену функције одговора.

Затим, на основу овог модела, изаберу се најперспективнији хиперпараметри за следећи покушај, што омогућава брже проналажење добрих поставки.

Приближан процес:

1. Изаберу се почетне тачке (скупови хиперпараметара) и процени квалитет модела.
2. Конструише се вероватносни модел (замењиви модел) функције квалитета.
3. Уз помоћ функције за стицање, изабере се следећи скуп хиперпараметара за проверу.
4. Понавља се, док се не достигне критеријум заустављања.

Ово омогућава значајно смањење броја покретања модела у поређењу са претрагом или случајним трагањем.