Model eğitimi sırasında veri sızıntısı ile karşılaştınız mı?

Evet, model eğitimi sırasında veri sızıntısı (data leakage) yaygın bir sorundur, modelin gerçek kullanım koşullarında erişilemeyen bilgilerin eğitim verilerine dahil edilmesiyle olur. Bu, aşırı uyum ve kalite tahmininde aşırı şişirilmiş değerlendirmelere yol açar.

Örnek: Kredi risk tahmininde, eğitim kümesinde doğrudan kredi verme kararına bağlı bir özellik (örneğin, onay durumu) bulunabilir, ki bu gerçek hayatta tahmin anında bilinmez.

Veri sızıntısını önlemek için:

• Eğitim ve test verilerini zaman veya diğer kriterlere göre açıkça ayırmak.
• Hedef değişken veya gelecekteki olaylar hakkında bilgi içeren özellikleri hariç tutmak.
• Özellikler ve iş mantığı üzerinde detaylı analiz yapmak.

Pratikte, zaman serileriyle çalışırken, geleceğe ait verilerin kazara eğitim kümesine girmesi sonucu gerçekçi olmayan yüksek metriklerle karşılaştım.