Ի՞նչ է target encoding-ը և ինչ խնդիրներ ունի (overfitting, leakage)։

Նպատակային կոդավորումը մեթոդ է կատեգորիկ հատկանիշների կոդավորման, որի ժամանակ յուրաքանչյուր կատեգորիայի համար նշանակվում է թվային արժեք, հիմնված նպատակային փոփոխականի վիճակագրության վրա (օրինակ, այդ կատեգորիայի համար նպատակային փոփոխականի միջին արժեքը):

Առավելություններ:

• Հնարավորություն է տալիս արդյունավետ օգտագործել կատեգորիկ հատկանիշները թվային տվյալներով աշխատող մոդելներում:
• Կարող է բարելավել մոդելի որակը, հատկապես երբ կատեգորիաների քանակը մեծ է:

Պրոբլեմներ:

• Overfitting (գերավարժում): եթե օգտագործվի ամբողջ ուսուցման հավաքածուի նպատակային միջին արժեքը, մոդելը կարող է հիշել կոնկրետ արժեքներ, ինչը վատթարացնում է նրա ընդհանուր կարողությունը:
• Leakage (տվյալների արտահոսք): նպատակային վիճակագրության հաշվարկը կատեգորիաների համար ամբողջ հավաքածուի վրա տեղի է ունենում տեղեկատվության արտահոսք, ինչը խեղաթյուրում է մոդելի գնահատումը:

Ինչպես խուսափել խնդիրներից:

• Օգտագործել կросվալիդացիա կամ սահում (smoothing) նպատակային կոդավորման հաշվարկում:
• Հետևել ռեգուլյարիզացիայի մեթոդներին, օրինակ՝ աղմուկ ավելացնել կամ օգտագործել գլոբալ միջին:

Նմուշ՝ սահում նպատակային կոդավորման:

# Պսևդոկոդ
յուր կատեգորիայի համար՝
    կոդավորված_արժեք = (կատեգորիայի մեջ նպատակային գումարը + գլոբալ_միջին * սահում) / (հաշվարկի_մասը + սահում)

Այսպիսով, նպատակային կոդավորումը հզոր գործիք է, բայց պահանջում է զգուշավոր կիրառում՝ կանխելու համար գերավարժումը և տվյալների արտահոսքը։