¿Cómo agregar la función de pérdida compuesta loss = loss1 + loss2? ¿Qué técnicas de balanceo de pérdidas conoces?

La agregación de funciones de pérdida compuestas generalmente se realiza mediante su suma:

loss = loss1 + loss2

Sin embargo, una suma simple puede llevar a que una de las pérdidas predomine si sus escalas difieren mucho. Para equilibrar las pérdidas, se emplean las siguientes técnicas:

• Ponderación de pérdidas: se introducen coeficientes, por ejemplo loss = w1 * loss1 + w2 * loss2, donde los pesos se seleccionan empíricamente o automáticamente.
• Normalización de pérdidas: se escala cada pérdida para que sean comparables en magnitud.
• Métodos adaptativos: por ejemplo, Dynamic Weight Average (DWA), donde los pesos cambian durante el entrenamiento en función de la velocidad de cambio de las pérdidas.
• Balanceo por gradiente: métodos que equilibran las pérdidas en función de la magnitud de los gradientes, para que ninguna tarea predomine.

Ejemplo con ponderación:

w1, w2 = 0.7, 0.3
loss = w1 * loss1 + w2 * loss2

La elección del método depende de la tarea y del comportamiento del modelo durante el entrenamiento.