Qu'est-ce qu'Optuna et quels sont ses pruners?

Optuna est une bibliothèque pour l’optimisation automatique des hyperparamètres (HPO) dans les tâches d’apprentissage automatique. Elle permet de rechercher efficacement les meilleurs paramètres de modèles à l’aide de méthodes d’optimisation bayésienne et d’autres stratégies.

Les Pruners dans Optuna sont des mécanismes qui interrompent (éliminent) les essais (trials) infructueux ou peu prometteurs à un stade précoce pour économiser des ressources informatiques. Ils analysent les résultats intermédiaires et décident s’il vaut la peine de continuer l’entraînement.

Les principaux pruners dans Optuna :

• MedianPruner — arrête les essais si leurs résultats intermédiaires sont inférieurs à la médiane des autres essais à la même étape.
• PercentilePruner — interrompt les essais si leurs résultats sont inférieurs à un percentile défini.
• SuccessiveHalvingPruner — met en œuvre une stratégie de réduction séquentielle du nombre d’essais, ne conservant que les meilleurs.
• HyperbandPruner — extension de SuccessiveHalving avec une gestion adaptative des ressources.

L’utilisation des pruners aide à accélérer le processus d’optimisation en se concentrant sur les configurations les plus prometteuses.