როგორ დავამარცხოთ data lakes target encoding-ის გამოყენებისას?

მიზნობრივი კოდირება (target encoding) ხდება მაშინ, როდესაც მიზნობრივი ცვლადის ინფორმაცია გადადის თვისებებში, რაც იწვევს მოდელის გადამზადებას ზედმეტად.

მიზნობრივი კოდირების დროს მონაცემთა გადმოსვლის თავიდან ასაცილებლად გამოიყენება შემდეგი მეთოდები:

• კროს-ვალიდაცია კოდირების დროს: თითოეულ ფოლდზე გამოითვალეთ მიზნობრივი კოდირება, მხოლოდ სხვა ფოლდების მონაცემების გამოყენებით, მიმდინარე ფოლდს გამორიცხეთ.
• გლუვება (smoothing): კომბინირეთ კატეგორიის მიზნობრივი ცვლადის საშუალო მნიშვნელობა გლობალურ საშუალოსთან, რათა შემცირდეს იშვიათი კატეგორიების გავლენა.
• შორ დამატება: დაამატეთ შემთხვევითი შორები კოდირებულ მნიშვნელობებს, რათა შემცირდეს გადამზადება.
• საკუთარი ტრენინგის ნაკრების გამოყენება: გამოითვალეთ კოდირება მხოლოდ ტრენინგ მონაცემებზე და შემდეგ გამოიყენეთ ტესტ მონაცემებზე.

გლუვების მაგალითი:

# ფსევდოკოდი
mean_global = target.mean()
count_category = df.groupby('category').size()
mean_category = df.groupby('category')['target'].mean()

smoothing = count_category / (count_category + k)
encoded_value = smoothing * mean_category + (1 - smoothing) * mean_global

ამ გზით, მიზნობრივი კოდირება ხდება უფრო სტაბილური და ამცირებს მონაცემთა გადმოსვლის რისკს.