Welke problemen ontstaan er bij het trainen van logistische regressie als het aantal kenmerken groter is dan het aantal observaties?

Если количество признаков (фич) превышает количество наблюдений (samples), при обучении логистической регрессии возникают следующие проблемы:

• Переобучение (overfitting): модель может идеально подстроиться под тренировочные данные, но плохо обобщать на новые.
• Неустойчивость решения: матрица признаков становится вырожденной или плохо обусловленной, что затрудняет вычисление оптимальных коэффициентов.
• Отсутствие единственного решения: из-за недостатка данных множество параметров могут давать одинаково хорошее качество, что усложняет оптимизацию.
• Проблемы с сходимостью оптимизатора: градиентные методы могут плохо сходиться или «застревать» из-за плоскостей в функции потерь.

Для решения часто применяют регуляризацию (L1 или L2), отбор признаков или методы снижения размерности (например, PCA).