Какво е target encoding и какви са проблемите му (overfitting, leakage)?

Целевото кодиране е метод за кодиране на категорийни характеристики, при който на всяка категория се приписва числова стойност, базирана на статистиката на целевата променлива (например, средната стойност на целта за тази категория).

Предимства:

• Позволява ефективно използване на категорийни характеристики в модели, които работят с числови данни.
• Може да подобри качеството на модела, особено при голям брой категории.

Проблеми:

• Overfitting (прекалено обучение): ако се използва средната стойност на целта върху цялата обучаваща извадка, моделът може да запомни конкретни стойности, което намалява способността му за обобщение.
• Leakage (изтичане на данни): при изчисляване на статистиката на целта за категориите върху цялата извадка, се получава изтичане на информация от целта към характеристиките, което изкривява оценката на модела.

Как да избегнем проблемите:

• Използвайте кръстосана валидация или изглаждане при изчисляване на целевото кодиране.
• Прилагайте методи за регуляризация, като добавяне на шум или използване на глобалната средна стойност.

Пример за изгладено целево кодиране:

# Псевдокод
за всяка категория:
    кодирана_стойност = (сумата на целта в категорията + глобалната_средна * изглаждане) / (броя в категорията + изглаждане)

Така целевото кодиране е мощен инструмент, но изисква внимателно прилагане, за да се избегне прекалено обучение и изтичане на данни.