Защо теглата на модела могат да станат големи и защо е необходимо да ги намаляваме с регуляризация?

Теглата на модела може да стане голяма поради прекомерна сложност на модела или недостатъчна регуляризация, което води до пренасищане: моделът се адаптира прекалено точно към тренировъчните данни и губи способността си за обобщаване. Големите тегла могат да означават, че моделът реагира твърде силно на отделни признаци, което намалява неговата стабилност.

Регуляризацията помага да се намали големината на теглата, като добавя към функцията на загубата наказание за техния размер (например, L1 или L2 регуляризация). Това насърчава по-опростен и по-обобщаващ модел, подобрявайки способността му да работи с нови данни.

Пример за L2 регуляризация във функцията на загубата:

loss = original_loss + lambda_ * sum(w**2 for w in weights)

където lambda_ е коефициентът на регуляризация, който контролира степента на наказанието.