Ինչու՞ մոդելի քաշերը կարող են մեծանալ և ինչու՞ է անհրաժեշտ դրանք նվազեցնել ռեգուլյարիզացիայով։

Մոդելի քաշերը կարող են մեծանալ մոդելի ավելորդ բարդության կամ անբավարար կանոնավորացման պատճառով, ինչը հանգեցնում է գերապատկերացման՝ մոդելը շատ ճշգրիտ հարմարեցվում է ուսուցման տվյալներին և կորցնում է ընդհանուր կարողությունը։ Մեծ քաշերը կարող են ցույց տալ, որ մոդելը շատ ուժեղ արձագանքում է որոշ առանձնահատկություններին, ինչը նվազեցնում է նրա կայունությունը։

Կանոնավորումը օգնում է նվազեցնել քաշերի չափը՝ ավելացնելով կորուստային ֆունկցիային պատժամիջոց նրանց չափի համար (օրինակ՝ L1 կամ L2 կանոնավորում): Սա խթանում է ավելի պարզ և ավելի ընդհանուր մոդել, բարելավելով նրա կարողությունը աշխատել նոր տվյալների հետ։

L2 կանոնավորման օրինակ կորուստային ֆունկցիայում՝

loss = original_loss + lambda_ * sum(w**2 for w in weights)

որտեղ lambda_ է կանոնավորման գործակիցը, որը վերահսկում է պատժամիջոցը։