Qual é a diferença entre regressão linear e outros métodos ao lidar com variáveis categóricas?

A regressão linear foi originalmente concebida para trabalhar com características numéricas e variável alvo. Ao trabalhar com características categóricas, ela requer sua conversão prévia para um formato numérico, por exemplo, usando codificação one-hot ou variáveis dummy.

As diferenças da regressão linear em relação a outros métodos no trabalho com características categóricas:

• Requer codificação explícita de categorias: A regressão linear não pode trabalhar diretamente com características categóricas, ao contrário de algumas árvores de decisão ou conjuntos, que podem lidar com categorias sem transformação.

• Dependência linear: A regressão linear assume uma relação linear entre as características e a variável alvo, o que pode ser uma limitação em interações complexas de categorias.

• Problemas com alta dimensionalidade: Com muitas categorias, a codificação one-hot leva a características dispersas e de alta dimensão, o que pode prejudicar a qualidade do modelo e aumentar o tempo de treinamento.

• Interpretabilidade: Os coeficientes da regressão linear para variáveis dummy são fáceis de interpretar como a influência de cada categoria.

Ao contrário da regressão linear, métodos como árvores de decisão, florestas aleatórias ou boosting de gradiente podem trabalhar com características categóricas de forma mais natural, sem necessidade de codificação, e lidam melhor com dependências não lineares.