Wie aggregiert man die zusammengesetzte Verlustfunktion loss = loss1 + loss2? Welche Methoden zur Ausbalancierung von Verlusten kennen Sie?

Die Aggregation zusammengesetzter Verlustfunktionen erfolgt in der Regel durch deren Addition:

loss = loss1 + loss2

Eine einfache Addition kann jedoch dazu führen, dass eine der Verluste dominiert, wenn ihre Skalen stark unterschiedlich sind. Um die Verluste auszugleichen, werden folgende Techniken angewandt:

• Gewichtung der Verluste: Es werden Koeffizienten eingeführt, z.B. loss = w1 * loss1 + w2 * loss2, wobei die Gewichte empirisch oder automatisch gewählt werden.
• Normalisierung der Verluste: Skalierung jeder Verlustfunktion, damit sie vergleichbar sind.
• Adaptive Methoden: z.B. Dynamic Weight Average (DWA), bei denen die Gewichte während des Trainings je nach Geschwindigkeit der Verluständerung variieren.
• Gradientenbasierte Balance: Methoden, die die Verluste basierend auf der Größe der Gradienten ausbalancieren, damit keine Aufgabe dominiert.

Beispiel mit Gewichtung:

w1, w2 = 0.7, 0.3
loss = w1 * loss1 + w2 * loss2

Die Wahl der Methode hängt von der Aufgabe und dem Verhalten des Modells während des Trainings ab.