Hoe combineer je de samengestelde verliesfunctie loss = loss1 + loss2? Welke technieken voor het balanceren van verliezen ken je?

De aggregatie van samengestelde verliesfuncties gebeurt meestal door ze op te tellen:

loss = loss1 + loss2

Echter, een eenvoudige optelling kan leiden tot dominantie van één van de verliezen als hun schalen sterk verschillen. Om de verliezen in balans te brengen, worden de volgende technieken toegepast:

• Verliesgewichten: coëfficiënten invoeren, bijvoorbeeld loss = w1 * loss1 + w2 * loss2, waarbij de gewichten empirisch of automatisch worden gekozen.
• Normalisatie van verliezen: elke verliesfunctie wordt geschaald zodat ze vergelijkbaar zijn in grootte.
• Adaptieve methoden: bijvoorbeeld, Dynamic Weight Average (DWA), waarbij de gewichten tijdens de training veranderen afhankelijk van de snelheid van verandering van de verliezen.
• Gradientbalancering: methoden die de verliezen balanceren op basis van de grootte van de gradiënten, zodat geen enkele taak domineert.

Voorbeeld met gewichten:

w1, w2 = 0.7, 0.3
loss = w1 * loss1 + w2 * loss2

De keuze van de methode hangt af van de taak en het gedrag van het model tijdens de training.