Что такое Bayesian linear regression?

Bayesian linear regression — это подход к линейной регрессии, основанный на байесовском выводе. В отличие от классической линейной регрессии, где параметры модели оцениваются как фиксированные значения, в байесовском подходе параметры рассматриваются как случайные величины с априорным распределением.

Основные моменты:

• Априорное распределение задаёт наши предположения о параметрах до наблюдения данных.
• Функция правдоподобия описывает, как данные связаны с параметрами.
• Апостериорное распределение — обновлённое распределение параметров после учёта данных, вычисляется по формуле Байеса.

Это позволяет:

• Учесть неопределённость в параметрах модели.
• Получать предсказания с оценкой доверительных интервалов.
• Легко интегрировать дополнительную информацию через априорные распределения.

Пример: если у нас есть модель y = Xw + ε, где w — вектор коэффициентов, ε — шум, то в байесовском подходе мы задаём априорное распределение p(w), например, нормальное, и вычисляем апостериорное p(w|X,y).

Bayesian linear regression часто используется в задачах, где важна оценка неопределённости, а также как базовый элемент в более сложных моделях, например, в Gaussian Processes и Bayesian Optimization.