Вакыттагы категориялык белгилер үчүн target encoding деген эмне жана кантип leakage-тан сактануу керек?

Таргет-энкодинг үчүн категориялык белгилердин убакыт сериялары — бул категориялык маанилерди сандык маанилерге алмаштыруу ыкмасы, ал максат өзгөрмөнүн статистикасына негизделген (мисалы, ар бир категория үчүн максаттын орточо мааниси). Убакыттуу маалыматтардын контекстинде, маалыматтын агып кетишин (leakage) алдын алуу маанилүү, анткени коддоо учурунда келечектеги маалыматтар колдонулушу мүмкүн.

Leakage'ди алдын алуу үчүн, ар бир убакыт чекитинде target encoding эсептегенде, ошол чекитке чейин жеткиликтүү гана маалымат колдонулат. Мисалы, ар бир категория үчүн, бардык мурунку байкоолордун максаттын орточо мааниси эсептелет, учурдагы жана келечектеги маалыматтарды камтыбайт. Бул кумулятивдүү орточо же кечиктирилген жылжуу терезелер менен ишке ашырылышы мүмкүн.

Python (pandas) мисалы:

import pandas as pd

df = pd.DataFrame({
    'category': ['A', 'B', 'A', 'B', 'A'],
    'target': [1, 0, 1, 1, 0],
    'time': pd.date_range('2023-01-01', periods=5)
})

df = df.sort_values('time')

# Категория боюнча кумулятивдүү максат орточо мааниси, 1ге жылдырылган, учурдагы максатты колдонбоо үчүн

df['target_enc'] = df.groupby('category')['target'].apply(lambda x: x.shift().expanding().mean())

print(df)

Мындай жол менен, target encoding тарыхый статистиканы чагылдырган жана келечектеги маалыматтардын агып кетишинен коргойт.