Что хотят услышать интервьюеры:

Maximum Likelihood Estimation (MLE) — это способ оценить параметры модели так, чтобы наблюдаемые данные были максимально вероятны при этих параметрах. Идея простая: выбирается набор параметров, который лучше всего объясняет выборку. На практике обычно максимизируют логарифм правдоподобия, потому что так удобнее считать.

Определение:

Пусть есть выборка (x_1, x_2, \dots, x_n), независимая и одинаково распределённая, и модель с параметром (\theta). Тогда функция правдоподобия задаётся как

[ L(\theta) = \prod_{i=1}^{n} p(x_i \mid \theta) ]

Оценка максимального правдоподобия — это

[ \hat{\theta}{MLE} = \arg\max{\theta} L(\theta) ]

Часто вместо (L(\theta)) максимизируют логарифм правдоподобия:

[ \hat{\theta}{MLE} = \arg\max{\theta} \sum_{i=1}^{n} \log p(x_i \mid \theta) ]

так как логарифм превращает произведение в сумму и упрощает вычисления.

Пример использования:

Для нормального распределения с неизвестным средним (\mu) и известной дисперсией (\sigma^2) MLE даёт оценку среднего как обычное выборочное среднее:

[ \hat{\mu} = \frac{1}{n}\sum_{i=1}^{n} x_i ]

Если есть измерения температур:

[ x = [20,\ 22,\ 21,\ 19] ]

то оценка среднего по MLE будет:

[ \hat{\mu} = \frac{20 + 22 + 21 + 19}{4} = 20.5 ]

Пояснение кода:

Код не требуется: задача MLE формулируется математически.
Если разложить пример по шагам, то сначала задаётся вероятностная модель данных (p(x \mid \theta)), затем строится произведение вероятностей всех наблюдений, после чего ищется (\theta), при котором это произведение максимально. На практике почти всегда переходят к логарифму правдоподобия и решают задачу оптимизации по (\theta).

Ключевые моменты:

MLE выбирает параметры, при которых наблюдённые данные наиболее вероятны.
Формально это задача (\hat{\theta} = \arg\max_{\theta} \prod_{i=1}^{n} p(x_i \mid \theta)).
Обычно максимизируют лог-правдоподобие: (\sum_{i=1}^{n} \log p(x_i \mid \theta)).
При независимых наблюдениях правдоподобие — произведение плотностей/вероятностей.
Для многих моделей MLE совпадает с интуитивно понятными оценками, например со средним для нормального распределения.

Сформулируйте задачу Maximum Likelihood Estimation и запишите формулу.