Kādus regulēšanas metodes jūs zināt? Kā L1 atšķiras no L2?

Regulēšana ir metode, kas novērš pārtrenēšanu, pievienojot sodu zaudējumu funkcijai.

Galvenās regulēšanas metodes:

• L1 regulēšana (Lasso): pievieno zaudējumu funkcijai summu absolūto svaru vērtību. Tas noved pie retkiem modeļiem — daudzi svari kļūst par nulli, kas palīdz izvēlēties raksturlielumus.

• L2 regulēšana (Ridge): pievieno svaru kvadrātu summu. Tas cenšas samazināt svarus, bet tos pilnībā nenullē, palīdzot padarīt modeli stabilāku.

• Dropout (neironu tīklos): nejauši izslēdz neironus treniņa laikā, lai novērstu atkarību no noteiktiem raksturlielumiem.

• Early stopping: apstādināt apmācību, kad validācijas kļūda vairs nesamazinās.

L1 un L2 atšķirības:

• L1 noved pie retkiem risinājumiem (daudzi koeficienti kļūst par nulli), kas ir noderīgi raksturlielumu izvēlē.
• L2 samazina svarus, bet tos neiznīcina pilnībā, palīdzot izlīdzināt modeli un samazināt trokšņainu raksturlielumu ietekmi.

L2 regulēšanas piemērs zaudējumu funkcijā:

loss = mse_loss + lambda_ * sum(w**2 for w in weights)

L1 gadījumā:

loss = mse_loss + lambda_ * sum(abs(w) for w in weights)