¿Por qué los pesos del modelo pueden volverse grandes y por qué es necesario reducirlos mediante regularización?

Los pesos del modelo pueden volverse grandes debido a una complejidad excesiva del modelo o a una regularización insuficiente, lo que conduce a un sobreajuste: el modelo se ajusta demasiado a los datos de entrenamiento, perdiendo la capacidad de generalización. Pesos grandes pueden significar que el modelo reacciona demasiado a características individuales, lo que reduce su estabilidad.

La regularización ayuda a reducir la magnitud de los pesos, añadiendo a la función de pérdida una penalización por su tamaño (por ejemplo, regularización L1 o L2). Esto fomenta un modelo más simple y general, mejorando su capacidad para trabajar con datos nuevos.

Ejemplo de regularización L2 en la función de pérdida:

loss = original_loss + lambda_ * sum(w**2 for w in weights)

donde lambda_ es el coeficiente de regularización que controla la severidad de la penalización.