Como lidar com os datalakes ao usar codificação alvo?

As fugas de dados (data leakage) ao usar codificação alvo ocorrem quando informações da variável alvo vazam para as características, levando a um sobreajuste do modelo.

Para combater as fugas de dados na codificação alvo, aplicam-se os seguintes métodos:

• Validação cruzada na codificação: calcular a codificação alvo para cada dobra, usando apenas os dados de outras dobras, excluindo a atual.
• Suavização (smoothing): combinar a média da variável alvo por categoria com a média global para reduzir o impacto de categorias raras.
• Adicionar ruído: inserir ruído aleatório nos valores codificados para reduzir o sobreajuste.
• Uso de um conjunto de treino separado: calcular a codificação apenas nos dados de treino e depois aplicá-la aos dados de teste.

Exemplo de suavização:

# Pseudocódigo
mean_global = target.mean()
count_category = df.groupby('category').size()
mean_category = df.groupby('category')['target'].mean()

smoothing = count_category / (count_category + k)
encoded_value = smoothing * mean_category + (1 - smoothing) * mean_global

Dessa forma, a codificação alvo torna-se mais robusta e reduz o risco de vazamento de dados.