O que fazer com o conjunto de dados antes de treinar o modelo?

Antes de treinar um modelo com um conjunto de dados, é necessário realizar várias etapas importantes de pré-processamento de dados:

1. Limpeza de dados — remover ou corrigir valores ausentes, incorretos ou discrepantes.
2. Normalização ou padronização — ajustar as características numéricas a uma escala comum para melhorar a convergência dos algoritmos.
3. Codificação de características categóricas — transformar categorias em formato numérico (codificação one-hot, codificação por rótulo).
4. Divisão em conjuntos de treino e teste — para avaliar a qualidade do modelo em dados novos.
5. Lidar com o desequilíbrio de classes — se as classes não estiverem equilibradas, podem ser aplicados métodos de sobremuestreo, subamostragem ou usar métricas específicas.
6. Seleção de características — remover características irrelevantes ou redundantes para melhorar a eficiência do modelo.

Esses passos ajudam a melhorar a qualidade e a estabilidade do modelo, além de prevenir o sobreajuste.