Por que os pesos do modelo podem ficar grandes e por que é necessário reduzi-los com regularização?

Os pesos do modelo podem tornar-se grandes devido a uma complexidade excessiva do modelo ou a uma regularização insuficiente, o que leva ao sobreajuste: o modelo ajusta-se demasiado aos dados de treino, perdendo a capacidade de generalizar. Pesos grandes podem indicar que o modelo reage demasiado a características específicas, o que reduz a sua estabilidade.

A regularização ajuda a diminuir a magnitude dos pesos, adicionando à função de perda uma penalização pelo seu tamanho (por exemplo, regularização L1 ou L2). Isto promove um modelo mais simples e com melhor capacidade de generalização, melhorando a sua capacidade de lidar com novos dados.

Exemplo de regularização L2 na função de perda:

loss = original_loss + lambda_ * sum(w**2 for w in weights)

onde lambda_ é o coeficiente de regularização que controla a severidade da penalização.