8. Выборочная функция распределения

Выборочная (эмпири́ческая) фу́нкция распределе́ния в математической статистике — это приближение теоретической функции распределения, построенное с помощью выборки из него.

Пусть Х₁, . . . , Х_n — выборка из распределения случайной величины X, задаваемой функцией распределения  F(X). Будем считать, что X_i, где i ϵ N, —независимые случайные величины, определённые на некотором пространстве элементарных исходов  . Пусть x ϵ R. Определим случайную величинуF(X):Ώ->R  следующим образом:

,

где   — индикатор события  ,   — функция Хевисайда. Таким образом, выборочная функция распределения в точке   равна относительной частоте элементов выборки, не превосходящих значение  . Случайная величина   называется выборочной функцией распределения случайной величины   и является аппроксимацией для функции  . Существует результат, показывающий, что при   функция   равномерно сходится к  , и указывающий скорость сходимости.

Основные свойства:

Пусть зафиксирован элементарный исход  . Тогда   является функцией распределения дискретного распределения, задаваемого следующейфункцией вероятности:

,

где  , а   — количество элементов выборки, равных  . В частности, если все элементы выборки различны, то  .

• Математическое ожидание этого распределения имеет вид:

.

Таким образом выборочное среднее — это теоретическое среднее выборочного распределения.

• Аналогично, выборочная дисперсия — это теоретическая дисперсия выборочного распределения.

• Случайная величина   имеет биномиальное распределение:

.

• Выборочная функция распределения   является несмещённой оценкой функции распределения  :

.

• Дисперсия выборочной функции распределения имеет вид:

.

• Согласно усиленному закону больших чисел, выборочная функция распределения сходится почти наверное к теоретической функции распределения:

 почти наверное при  .

• Выборочная функция распределения является асимптотически нормальной оценкой теоретической функции распределения. Если  , то

 по распределению при  .

9. Метод максимального правдоподобия

Ме́тод максима́льного правдоподо́бия или метод наибольшего правдоподобия (ММП, ML, MLE — англ. maximum likelihood estimation) в математической статистике — это метод оценивания неизвестного параметра путём максимизации функции правдоподобия^[1]. Основан на предположении о том, что вся информация о статистической выборке содержится в функции правдоподобия.  Правдоподобие принятой последовательности

Пусть есть выборка   из распределения  , где   — неизвестные параметры. Пусть   — функция правдоподобия, где  . Точечная оценка

называется оце́нкой максима́льного правдоподо́бия параметра  . Таким образом оценка максимального правдоподобия — это такая оценка, которая максимизирует функцию правдоподобия при фиксированной реализации выборки. Часто вместо функции правдоподобия   используют логарифмическую функцию правдоподобия  . Так как функция   монотонно возрастает на всей области определения,максимум любой функции   является максимумом функции  , и наоборот. Таким образом,