Modelin təlimi zamanı məlumat sızması ilə rastlaşmısınızmı?

Bəli, modelin təlimi zamanı məlumatların sızması (data leakage) geniş yayılmış problemdir, modelin real istifadə şərtlərində mövcud olmayan məlumatların təlim məlumatlarına daxil olmasıdır. Bu, artıq öyrənmə və keyfiyyətin şişirdilmiş qiymətləndirilməsinə səbəb olur.

Nümunə: kredit riskinin proqnozlaşdırılmasında, təlim dəstində kreditin verilməsi ilə birbaşa əlaqəli xüsusiyyət ola bilər (məsələn, təsdiq statusu), hansı ki, real həyatda proqnoz zamanı məlum deyil.

Məlumatların sızmasının qarşısını almaq üçün:

• Təlim və test məlumatlarını vaxt və ya digər meyarlar üzrə aydın şəkildə ayırmaq.
• Hədəf dəyişəni və ya gələcək hadisələr haqqında məlumatı ehtiva edən xüsusiyyətləri çıxarmaq.
• Xüsusiyyətlər və biznes məntiqi üzərində ətraflı analiz aparmaq.

Praktikada, zaman seriyaları ilə işləyərkən, gələcək məlumatların təsadüfən təlim dəstinə daxil olması nəticəsində reallıqdan uzaq yüksək metriklərlə qarşılaşmışam.