Welke cost-bewuste HPO-benaderingen bestaan er?

Kostenbewuste HPO (Hyperparameteroptimalisatie) zijn benaderingen voor het optimaliseren van hyperparameters van modellen met inachtneming van de rekenkosten (tijd, middelen). De belangrijkste methoden omvatten:

• Multi-fideliteit optimalisatie: gebruikt beoordelingen op vereenvoudigde versies van de taak (bijvoorbeeld met minder data of minder epochs) om snel slechte opties uit te sluiten.
• Vroegtijdig stoppen: stopt de training van modellen die in de vroege stadia slechte resultaten laten zien om middelen te besparen.
• Bayesiaanse optimalisatie met kosten in gedachten: een aanpassing van de klassieke bayesiaanse aanpak, waarbij niet alleen de kwaliteit van het model wordt meegenomen, maar ook de kosten van berekeningen bij het kiezen van het volgende punt.
• Multi-arm bandits: verdeling van rekenmiddelen over verschillende configuraties, met prioriteit voor de veelbelovende.

Deze methoden helpen om beperkte middelen efficiënt te gebruiken bij het zoeken naar optimale hyperparameters.