В чем разница линейной и логистической регрессии?

Что хотят услышать интервьюеры:

Линейная регрессия используется для предсказания числового значения, а логистическая — для классификации, то есть оценки вероятности принадлежности к классу. У них похожая форма модели, но разная целевая функция и разные выходы. Логистическая регрессия обычно применяет сигмоиду, чтобы получить вероятность в диапазоне от 0 до 1.

Определение:

Линейная регрессия строит непрерывный прогноз: например, цену, температуру или спрос. Она минимизирует ошибку между предсказанием и истинным числом, обычно через MSE или похожую функцию потерь.

Логистическая регрессия решает задачу классификации. Она оценивает вероятность класса, а затем по порогу переводит ее в метку класса, например 0 или 1. Несмотря на название, это классификатор, а не регрессор.

Пример использования:

Линейная регрессия: предсказать стоимость квартиры по площади, району и количеству комнат.

Логистическая регрессия: определить, уйдет ли клиент, по его активности и истории покупок.

from sklearn.linear_model import LinearRegression, LogisticRegression

# Линейная регрессия: прогноз цены
lin_model = LinearRegression()
lin_model.fit(X_train, y_train_price)
price_pred = lin_model.predict(X_test)

# Логистическая регрессия: классификация "уйдет/не уйдет"
log_model = LogisticRegression()
log_model.fit(X_train, y_train_churn)
churn_prob = log_model.predict_proba(X_test)[:, 1]
churn_pred = log_model.predict(X_test)

Пояснение кода:

В примере линейная модель обучается на числовой целевой переменной y_train_price и возвращает непрерывное значение через predict().

Логистическая модель обучается на бинарной метке y_train_churn. Метод predict_proba() возвращает вероятность класса 1, а predict() — уже итоговую метку по внутреннему порогу.

Ключевые моменты:

• Линейная регрессия предсказывает число, логистическая — вероятность и класс.
• У обеих моделей может быть линейная комбинация признаков на входе.
• Различие в выходе: у линейной регрессии это любое число, у логистической — обычно вероятность от 0 до 1.
• Различие в функции потерь: у линейной регрессии ошибка по числовому значению, у логистической — штраф за неверную классификацию вероятностей.
• Логистическая регрессия подходит для бинарной, а с расширениями — и для многоклассовой классификации.
• Линейная регрессия не подходит для классификации, если нужен именно класс или вероятность.