Логарифмическая функция правдоподобия

Фу́нкция правдоподо́бия в математической статистике — это совместное распределение выборки из параметрического распределения как функция параметра.

Определение

Пусть есть параметрическое семейство распределений вероятности $\{\mathbb{P}_{\theta}\}_{\theta \in \Theta}$. Пусть дана выборка $X_1,\ldots, X_n \sim \mathbb{P}_{\theta}$ для некоторого $\theta \in \Theta$. Предположим, что совместное распределение этой выборки задаётся функцией $f_{\mathbf{X}}(\mathbf{x} \mid \theta ),\; \mathbf{x}\in \mathbb{R}^n$, где f является либо плотностью вероятности, либо функцией вероятности случайного вектора $\mathbf{X} = (X_1,\ldots, X_n)^{\top}$.

Для фиксированной реализации выборки $\mathbf{X} = \mathbf{x}$ функция $f_{\mathbf{X}}(\mathbf{x}, \cdot ): \Theta \to \mathbb{R}$ называется функцией правдоподобия.

Замечания

• Функция $L(\mathbf{x} \mid \theta )$, где

$L(\mathbf{x} \mid \theta ) = \ln f_{\mathbf{X}}(\mathbf{x} \mid \theta )$,

называется логарифми́ческой фу́нкцией правдоподо́бия.

• Если выборка независима, то

$f_{\mathbf{X}}(\mathbf{x} \mid \theta ) = \prod\limits_{i=1}^n f_X(x_i \mid \theta)$,

где $f_X(\cdot \mid \theta )$ — плотность или функция вероятности распределения $\mathbb{P}_{\theta}$. Логарифмическая функция правдоподобия в этом случае имеет вид:

$L(\mathbf{x} \mid \theta ) = \sum\limits_{i=1}^n \ln f_X(x_i \mid \theta )$.

• Функция правдоподобия измеряет степень вероятности появления реализации выборки $\mathbf{x}$ из распределения $\mathbb{P}_{\theta}$.

История

Впервые правдоподобие было упомянуто в книге Торвальда Тиле, опубликованной в 1889 году^[1].

Полное описание идеи правдоподобия впервые было дано Рональдом Фишером в 1922 году в работе «Математические основы теоретической статистики»^[2](англ.). В этой работе Фишер также использует термин метод максимального правдоподобия. Фишер возражает против использования обратной вероятности как основы статистических заключений и предлагает вместо неё использовать функцию правдоподобия.

См. также

• Метод максимального правдоподобия.

Примечания

1. ↑ Steffen L. Lauritzen, Aspects of T. N. Thiele’s Contributions to Statistics (1999).(англ.)
2. ↑ Ronald A. Fisher. «On the mathematical foundations of theoretical statistics». Philosophical Transactions of the Royal Society, A, 222:309-368 (1922). («правдоподобие» упомянуто в разделе 6.)