É necessária a normalização de características para modelos BERT e árvores de decisão?

Para os modelos BERT, a normalização de características geralmente não é necessária, pois os dados de entrada são tokens que são transformados em embeddings através de um modelo pré-treinado. Esses embeddings já estão em um espaço adequado, e normalizações adicionais não são necessárias.

Para árvores de decisão (por exemplo, florestas aleatórias ou boosting de gradiente), a normalização de características também não é obrigatória. As árvores trabalham com limites de divisão e não dependem da escala das características, portanto, a normalização não afeta a qualidade do modelo.

Resumindo: a normalização é importante para modelos sensíveis à escala das características (por exemplo, modelos lineares, SVM, redes neurais sem embeddings pré-treinados), mas não é necessária para BERT e árvores de decisão.