მოდელის სწავლების დროს მონაცემების გამტაცებლობა გქონდათ?

დიახ, მონაცემთა გაჟონვა (data leakage) მოდელის სწავლების დროს გავრცელებული პრობლემა არის, როდესაც რეალურ პირობებში ხელმისაწვდომი არ არის ინფორმაცია მონაცემებში შედის. ეს იწვევს გადამეტებას და ხარისხის გადაჭარბებულ შეფასებას.

მაგალითი: კრედიტის რისკის წინასწარმეტყველებაში, სწავლების ნაკრებში შეიძლება იყოს მახასიათებელი, რომელიც პირდაპირ დაკავშირებულია კრედიტის გაცემის გადაწყვეტილებასთან (მაგალითად, დამტკიცების სტატუსი), რომელიც რეალურ ცხოვრებაში წინასწარმეტყველების დროს უცნობია.

მონაცემთა გაჟონვის თავიდან ასაცილებლად, მნიშვნელოვანია:

• მკაფიოდ გამოეყოს სწავლების და ტესტის მონაცემები დროის ან სხვა კრიტერიუმების მიხედვით.
• გამორიცხოს მახასიათებლები, რომლებიც შეიცავს ინფორმაციას მიზნობრივ ცვლადზე ან მომავალი მოვლენებზე.
• ჩაატაროს დეტალური ანალიზი მახასიათებლებისა და ბიზნეს ლოგიკის შესახებ.

პრაქტიკაში, მე შევხვედრივარ გაჟონვას, როდესაც დროის სერიებზე მუშაობის დროს, მომავალი მონაცემები შემთხვევით შევიდა სწავლების ნაკრებში, რაც გამოიწვია არარეალისტურად მაღალი მეტრიკებით.