Comment agréger la fonction de perte composite loss = loss1 + loss2 ? Quelles techniques d'équilibrage des pertes connaissez-vous ?

L'agrégation de fonctions de perte composées se fait généralement par leur addition :

loss = loss1 + loss2

Cependant, une simple addition peut conduire à ce qu'une perte domine si leurs échelles diffèrent fortement. Pour équilibrer les pertes, on utilise les techniques suivantes :

• Pondération des pertes : introduire des coefficients, par exemple loss = w1 * loss1 + w2 * loss2, où les poids sont choisis empiriquement ou automatiquement.
• Normalisation des pertes : mettre à l'échelle chaque perte pour qu'elles soient comparables en magnitude.
• Méthodes adaptatives : par exemple, Dynamic Weight Average (DWA), où les poids changent au cours de l'apprentissage en fonction de la vitesse de changement des pertes.
• Équilibrage par gradient : méthodes qui équilibrent les pertes en fonction de la magnitude des gradients, pour qu'aucune tâche ne prédomine.

Exemple avec pondération :

w1, w2 = 0.7, 0.3
loss = w1 * loss1 + w2 * loss2

Le choix de la méthode dépend de la tâche et du comportement du modèle lors de l'apprentissage.