Come aggregare la funzione di perdita composita loss = loss1 + loss2? Quali tecniche di bilanciamento delle perdite conosci?

L'aggregazione delle funzioni di perdita composte avviene generalmente tramite la loro somma:

loss = loss1 + loss2

Tuttavia, una somma semplice può portare a dominanza di una delle perdite se i loro scale sono molto diversi. Per bilanciare le perdite, si applicano le seguenti tecniche:

• Ponderazione delle perdite: si introducono coefficienti, ad esempio loss = w1 * loss1 + w2 * loss2, dove i pesi sono scelti empiricamente o automaticamente.
• Normalizzazione delle perdite: si scala ogni perdita per renderle confrontabili in grandezza.
• Metodi adattivi: ad esempio, Dynamic Weight Average (DWA), dove i pesi cambiano durante l'addestramento in base alla velocità di variazione delle perdite.
• Bilanciamento tramite gradiente: metodi che bilanciano le perdite in base alla grandezza dei gradienti, affinché nessun compito predomini.

Esempio con ponderazione:

w1, w2 = 0.7, 0.3
loss = w1 * loss1 + w2 * loss2

La scelta del metodo dipende dal compito e dal comportamento del modello durante l'addestramento.