¿Qué métodos de regularización conoces? ¿En qué se diferencia L1 de L2?

La regularización es un método para prevenir el sobreajuste del modelo mediante la adición de una penalización a la función de pérdida.

Métodos principales de regularización:

• Regularización L1 (Lasso): añade a la función de pérdida la suma de los valores absolutos de los pesos. Esto conduce a modelos dispersos, donde muchos pesos se vuelven cero, ayudando en la selección de características.

• Regularización L2 (Ridge): añade la suma de los cuadrados de los pesos. Tiende a reducir los pesos, pero no los pone a cero completamente, ayudando a hacer el modelo más estable.

• Dropout (en redes neuronales): desconexión aleatoria de neuronas durante el entrenamiento para prevenir la dependencia de características específicas.

• Parada temprana: detener el entrenamiento cuando el error en la validación deja de disminuir.

Diferencias entre L1 y L2:

• L1 conduce a soluciones dispersas (muchos coeficientes se vuelven cero), útil para la selección de características.
• L2 reduce los pesos, pero no los anula, ayudando a suavizar el modelo y reducir la influencia de características ruidosas.

Ejemplo de regularización L2 en la función de pérdida:

loss = mse_loss + lambda_ * sum(w**2 for w in weights)

Para L1:

loss = mse_loss + lambda_ * sum(abs(w) for w in weights)