Mi az a target encoding és milyen problémái vannak (overfitting, leakage)?

A célkódolás egy olyan módszer a kategóriás jellemzők kódolására, amelyben minden kategóriának numerikus értéket rendelnek a célváltozó statisztikái alapján (például az adott kategória céljának átlagértéke).

Előnyök:

• Hatékonyan lehet használni a kategóriás jellemzőket olyan modellekben, amelyek numerikus adatokkal dolgoznak.
• Javíthatja a modell minőségét, különösen sok kategória esetén.

Problémák:

• Overfitting (túlillesztés): ha az egész tanító mintára a cél átlagát használjuk, a modell megtanulhatja a konkrét értékeket, ami rontja az általánosító képességet.
• Leakage (adat szivárgás): a cél statisztikáinak számítása az egész mintánál információ szivárgást eredményez a jellemzőkbe, ami torzítja a modell értékelését.

Hogyan kerülhetjük el ezeket a problémákat:

• Keresztvalidáció vagy simítás alkalmazása a célkódolás számításánál.
• Regularizációs módszerek alkalmazása, például zaj hozzáadása vagy globális átlag használata.

Példa a simított célkódolásra:

# Pseudokód
minden kategóriára:
    kódolt_érték = (kategóriában lévő célok összege + globális_átlag * simítás) / (kategóriában lévő szám + simítás)

Így a célkódolás egy erőteljes eszköz, de óvatos alkalmazást igényel, hogy elkerüljük a túlillesztést és az adat szivárgását.