Como agregar a função de perda composta loss = loss1 + loss2? Quais técnicas de balanceamento de perdas você conhece?

A agregação de funções de perda compostas geralmente ocorre por meio de sua soma:

loss = loss1 + loss2

No entanto, uma soma simples pode levar a que uma das perdas predomine se seus escalas forem muito diferentes. Para equilibrar as perdas, utilizam-se as seguintes técnicas:

• Ponderação das perdas: introduz-se coeficientes, por exemplo loss = w1 * loss1 + w2 * loss2, onde os pesos são escolhidos empiricamente ou automaticamente.
• Normalização das perdas: escalona-se cada perda para que sejam comparáveis em magnitude.
• Métodos adaptativos: por exemplo, Dynamic Weight Average (DWA), onde os pesos mudam durante o treinamento dependendo da velocidade de mudança das perdas.
• Balanceamento por gradiente: métodos que equilibram as perdas com base na magnitude dos gradientes, para que nenhuma tarefa predomine.

Exemplo com ponderação:

w1, w2 = 0.7, 0.3
loss = w1 * loss1 + w2 * loss2

A escolha do método depende da tarefa e do comportamento do modelo durante o treinamento.