Que problemas surgem ao treinar regressão logística se o número de características for maior que o número de observações?

Se o número de características (features) excede o número de observações (amostras), ao treinar regressão logística surgem os seguintes problemas:

• Overfitting (sobreajuste): o modelo pode ajustar-se perfeitamente aos dados de treino, mas ter um desempenho ruim em novos dados.
• Inestabilidade da solução: a matriz de características torna-se degenerada ou mal condicionada, dificultando o cálculo dos coeficientes ótimos.
• Ausência de uma solução única: devido à insuficiência de dados, múltiplos parâmetros podem oferecer uma qualidade semelhante, dificultando a otimização.
• Problemas de convergência do otimizador: os métodos de gradiente podem convergir mal ou ficar presos devido a planos na função de perda.

Para resolver isso, frequentemente se aplica regularização (L1 ou L2), seleção de características ou métodos de redução de dimensionalidade (por exemplo, PCA).