O que é codificação de destino e quais são os seus problemas (overfitting, leakage)?

A codificação alvo é um método de codificação de características categóricas, no qual cada categoria recebe um valor numérico baseado na estatística da variável alvo (por exemplo, a média da meta para essa categoria).

Vantagens:

• Permite usar eficazmente características categóricas em modelos que trabalham com dados numéricos.
• Pode melhorar a qualidade do modelo, especialmente quando há muitas categorias.

Problemas:

• Overfitting (sobreajuste): se usar a média da meta em toda a amostra de treino, o modelo pode memorizar valores específicos, prejudicando sua capacidade de generalização.
• Leakage (vazamento de dados): ao calcular a estatística da meta para categorias em toda a amostra, ocorre um vazamento de informação da meta para as características, distorcendo a avaliação do modelo.

Como evitar problemas:

• Usar validação cruzada ou suavização ao calcular o encoding alvo.
• Aplicar métodos de regularização, como adicionar ruído ou usar a média global.

Exemplo de encoding alvo suavizado:

# Pseudocódigo
para cada categoria:
    valor_codificado = (soma_meta_na_categoria + média_global * suavização) / (contagem_na_categoria + suavização)

Assim, o encoding alvo é uma ferramenta poderosa, mas requer uso cuidadoso para evitar overfitting e vazamento de dados.