Jak agregovat složenou funkci ztráty loss = loss1 + loss2? Jaké techniky vyvažování ztrát znáte?

Agregace složených funkcí ztráty se obvykle provádí jejich sčítáním:

loss = loss1 + loss2

Jednoduché sčítání však může vést k dominanci jedné z funkcí ztráty, pokud jejich měřítka výrazně liší. Pro vyvážení ztrát se používají následující techniky:

• Váhování ztrát: zavádějí se koeficienty, například loss = w1 * loss1 + w2 * loss2, kde jsou váhy vybírány empiricky nebo automaticky.
• Normalizace ztrát: škálování každé ztráty tak, aby byly srovnatelné velikostí.
• Adaptivní metody: například, Dynamic Weight Average (DWA), kde se váhy mění během tréninku v závislosti na rychlosti změny ztrát.
• Vyvážení gradientů: metody, které vyvažují ztráty na základě velikosti gradientů, aby žádný úkol nepřevažoval.

Příklad s vážením:

w1, w2 = 0.7, 0.3
loss = w1 * loss1 + w2 * loss2

Volba metody závisí na úkolu a chování modelu během tréninku.