რა არის გადამზადება? როგორ შეიძლება მასთან ბრძოლა?

Overfitting (მოსწორების ზედმეტობა) — ეს არის მდგომარეობა, როდესაც მანქანური სწავლების მოდელი ძალიან კარგად ეწინააღმდეგება სასწავლო მონაცემებს, მათ შორის ხმაურს და შემთხვევით რყევებს, და ამის გამო ცუდად ზოგავს ახალ, უხილავ მონაცემებზე.

Overfitting-ის წინააღმდეგ ბრძოლისთვის მეთოდები:

• რეგულარიზაცია (L1, L2) — მოდელის სირთულისთვის ჯარიმის დამატება, რათა თავიდან აიცილოს ძალიან დიდი წონები.
• სწრაფი შეჩერება — სწავლების შეჩერება, როდესაც ვალიდაციის ნაკრებში ხარისხი იწყებს გაუარესებას.
• მონაცემების მოცულობის გაზრდა — მეტი მონაცემები ეხმარება მოდელს უკეთესად ზოგავაში.
• კროს-ვალიდაცია — ეხმარება მოდელის ზოგადობის შეფასებაში და პარამეტრების მორგებაში.
• Dropout (ნეირონული ქსელებისთვის) — შემთხვევით ნეირონების გამორთვა სწავლების დროს, რათა თავიდან აიცილოს დამოკიდებულება კონკრეტულ ნიშნებზე.
• მოდელის გამარტივება — პარამეტრების ან ფენების რაოდენობის შემცირება.

მაგალითი რეგულარიზაციის გრძივი რეgression-ში:

from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0)  # L2 რეგულარიზაცია
model.fit(X_train, y_train)