Kā cīnīties ar datalakes, izmantojot target encoding?

Datu noplūde (data leakage) lietojot mērķa kodēšanu (target encoding) notiek, kad informācija no mērķa mainīgā ieplūst raksturlielumos, kas noved pie modeļa pārāk augstas pielāgošanas.

Lai cīnītos ar datu noplūdi, izmanto šādas metodes:

• Krosvalidācija kodēšanas laikā: katram foldam aprēķināt mērķa kodējumu, izmantojot tikai citu foldu datus, izņemot pašreizējo.
• Slīdošā (smoothing): apvienot kategorijas mērķa vidējo ar globālo vidējo, lai samazinātu retu kategoriju ietekmi.
• Troksņa pievienošana: pievienot nejaušu troksni kodētajām vērtībām, lai samazinātu pārāk pielāgošanos.
• Izmantot atsevišķu apmācību kopu: aprēķināt kodējumu tikai uz apmācību datiem un pēc tam to piemērot testu datiem.

Piemērs ar slīdošo vidējo:

# Pseido-kods
mean_global = target.mean()
count_category = df.groupby('category').size()
mean_category = df.groupby('category')['target'].mean()

smoothing = count_category / (count_category + k)
encoded_value = smoothing * mean_category + (1 - smoothing) * mean_global

Tādējādi, mērķa kodēšana kļūst stabilāka un samazina datu noplūdes risku.