Target encoding nedir ve onun sorunları nelerdir (aşırı uyum, sızıntı)?

Hedef kodlama, her kategoriye, hedef değişkenin istatistiklerine dayalı sayısal bir değer atayan kategorik özelliklerin kodlanması yöntemidir (örneğin, bu kategori için hedefin ortalaması).

Avantajlar:

• Sayısal verilerle çalışan modellerde kategorik özellikleri verimli bir şekilde kullanmaya olanak tanır.
• Özellikle çok sayıda kategori varsa model kalitesini artırabilir.

Sorunlar:

• Aşırı uyum (Overfitting): Eğitim verisinin tamamındaki hedef ortalamasını kullanmak, modelin belirli değerleri ezberlemesine neden olabilir ve genelleme yeteneğini azaltır.
• Veri sızıntısı (Leakage): Tüm örneklemde hedef istatistiğinin hesaplanması, hedef bilgisinin özelliklere sızmasına ve model değerlendirmesinin bozulmasına yol açar.

Sorunları nasıl önleriz:

• Hedef kodlaması hesaplamasında çapraz doğrulama veya yumuşatma kullanmak.
• Gürültü ekleme veya küresel ortalamayı kullanma gibi düzenleme yöntemleri uygulamak.

Yumuşatılmış hedef kodlama örneği:

# Pseudocode
her kategori için:
    kodlanmış_değer = (kategori içindeki hedeflerin toplamı + küresel_ortalama * yumuşatma) / (kategori içindeki sayı + yumuşatma)

Bu nedenle, hedef kodlama güçlü bir araçtır, ancak aşırı uyumu ve veri sızıntısını önlemek için dikkatli kullanılmalıdır.