Target encoding деген эмне жана анын көйгөйлөрү кандай (overfitting, leakage)?

Мақсаттуу коддоо — бул категориялык өзгөчөлүктөрдү коддоо ыкмасы, анда ар бир категорияга максаттуу өзгөрмөнүн статистикасына негизделген сандык мааниси берилет (мисалы, бул категория үчүн максаттын орточо мааниси).

Артыкчылыктары:

• Сандык маалыматтар менен иштеген моделдерде категориялык өзгөчөлүктөрдү эффективдүү колдонууга мүмкүндүк берет.
• Өзгөчө көп категориялар болсо, моделдин сапатын жакшырта алат.

Маселелер:

• Overfitting (чечмелөө): эгер бардык окутуу үлгүсүнүн орточо мааниси колдонулса, модель конкреттүү маанилерди эстеп калуусу мүмкүн, бул анын жалпылоо жөндөмүн төмөндөтөт.
• Leakage (маалымат агып кетүү): бардык үлгү боюнча максаттуу статистиканы эсептегенде, маалыматтын агып кетиши болуп, моделдин баалоосун бузат.

Маселелерди кантип алдын алууга болот:

• Максаттуу коддоону эсептегенде кросс-валидация же жумшартуу (smoothing) колдонуу.
• Регуляризациялык ыкмаларды колдонуу, мисалы, шуу кошуу же глобалдык орточо маанини колдонуу.

Жумшартылган максаттуу коддоо мисалы:

# Псевдокод
ар бир категория үчүн:
    коддолгон мааниси = (категориядагы максаттардын жыйындысы + глобалдык орточо * жумшартуу) / (категориядагы сан + жумшартуу)

Ошентип, максаттуу коддоо күчтүү инструмент, бирок сак болуу керек, ашыкча үйрөнүүнү жана маалымат агып кетүүнү алдын алуу үчүн.