Quais os métodos de pré-processamento de características utilizados e com que problemas eles enfrentam?

Os principais métodos de pré-processamento de características incluem:

• Escalamento e normalização: ajustar as características a uma escala comum (por exemplo, Min-Max Scaling, Padronização). Isto é importante para algoritmos sensíveis à escala dos dados (SVM, KNN).

• Tratamento de valores ausentes: preencher com a média, mediana, moda ou valores especiais; eliminar linhas ou colunas com dados ausentes.

• Codificação de características categóricas: codificação one-hot, codificação por rótulo, codificação alvo.

• Tratamento de valores extremos: eliminar ou transformar valores extremos.

• Criação de novas características: combinação de existentes, extração de data/hora, processamento de texto.

Problemas comuns no pré-processamento:

• Perda de informação ao eliminar dados ou aplicar filtragem agressiva.

• Overfitting devido a codificação incorreta ou vazamento de dados na criação de características.

• Desalinhamento de escalas das características, o que prejudica o desempenho dos modelos.

• Dificuldades com dados ausentes, especialmente se não forem aleatórios.

• Alta dimensionalidade após a codificação de características categóricas (por exemplo, codificação one-hot com muitas categorias).

Um pré-processamento eficaz requer compreensão dos dados e dos objetivos do modelo, bem como testes rigorosos.