¿Qué enfoques de HPO conscientes del costo existen?

HPO consciente del costo (Optimización de hiperparámetros) son enfoques para optimizar los hiperparámetros de los modelos considerando el costo computacional (tiempo, recursos). Los métodos principales incluyen:

• Optimización de multi-fidelidad: utiliza evaluaciones en versiones simplificadas de la tarea (por ejemplo, con menos datos o menos épocas) para descartar rápidamente las malas opciones.
• Detención temprana: interrumpe el entrenamiento de modelos que muestran malos resultados en las primeras etapas para ahorrar recursos.
• Optimización bayesiana considerando el costo: modificación del enfoque bayesiano clásico, donde se considera no solo la calidad del modelo, sino también el costo de cálculo al elegir el siguiente punto.
• Bandas multi-brazo: distribución de recursos computacionales entre diferentes configuraciones, dando preferencia a las más prometedoras.

Estos métodos ayudan a utilizar de manera eficiente los recursos limitados en la búsqueda de hiperparámetros óptimos.