Какие проблемы возникают при обучении логистической регрессии, если количество признаков больше количества наблюдений?

Если количество признаков (фич) превышает количество наблюдений (samples), при обучении логистической регрессии возникают следующие проблемы:

• Переобучение (overfitting): модель может идеально подстроиться под тренировочные данные, но плохо обобщать на новые.
• Неустойчивость решения: матрица признаков становится вырожденной или плохо обусловленной, что затрудняет вычисление оптимальных коэффициентов.
• Отсутствие единственного решения: из-за недостатка данных множество параметров могут давать одинаково хорошее качество, что усложняет оптимизацию.
• Проблемы с сходимостью оптимизатора: градиентные методы могут плохо сходиться или «застревать» из-за плоскостей в функции потерь.

Для решения часто применяют регуляризацию (L1 или L2), отбор признаков или методы снижения размерности (например, PCA).