КАФЕДРА ТЕОРИИ ВЕРОЯТНОСТЕЙ И ПРИКЛАДНОЙ МАТЕМАТИКИ

Лекция № 13

Точечное оценивание. Свойства оценок. Методы моментов, квантилей

и максимального правдоподобия

Пусть мы наблюдаем случайную величину с функцией распределения F x, 1,..., m , зависящей от одного или нескольких параметров 1,..., m. Пусть вид функции распределения F x известен, а параметры 1,..., m неизвестны.

Наша задача состоит в том, чтобы по наблюдениям за случайной величиной построить оценки неизвестных параметров

1 1 x1,...,xn ;

2 2 x1,...,xn ;

…

m m x1,...,xn .

Любую статистику g x1,...,xn , зависящую только от выборки, можно

считать оценкой параметра , или точечной оценкой. Но возникает вопрос, насколько хороша или плоха данная оценка.

E ; и асимптотически несмещенной, если E x1,...,xn n .

Разность E b называется смещением оценки.

Пример. В случае выборки из произвольной случайной величины, согласно доказанному ранее результату, E k k . Следовательно,

статистика Mk - несмещенная оценка для k . В частности, х - несмещенная оценка для математического ожидания .

Пусть 1, 2 , тогда х - несмещенная оценка для параметра 1.

S n 1D , следовательно, S2- смещенная оценка для 2. Смещение её

2 n

равно

Следовательно, эти выборочные моменты – состоятельные оценки для соответствующих теоретических.

Исторически первым общим методом получения оценок неизвестных параметров распределения является предложенный К. Пирсоном в 1894 году метод моментов, состоящий в приравнивании эмпирических начальных моментов теоретическим и составлении системы из m уравнений (по числу параметров):

Решением этой системы является набор оценок 1,..., m , называемых

оценками, полученными с помощью метода моментов.

Пример. Пусть выборка производится из нормально распределенной случайной величины с двумя неизвестными параметрами, т. е.

1, 2 .

1 1,

Сущность метода квантилей схожа с методом моментов: выбирается столько квантилей, сколько требуется оценить параметров; неизвестные теоретические квантили, выраженные через параметры распределения, приравниваются к эмпирическим квантилям. Решение полученной системы уравнений дает искомые оценки параметров.

Метод квантилей позволяет получить асимптотически нормальные оценки, однако они несут в себе некоторый субъективизм, связанный с относительно произвольным выбором квантилей. Эффективность оценок не выше метода моментов. Определение оценок может приводить к необходимости численного решения достаточно сложных систем уравнений.

Еще одним универсальным методом оценивания неизвестных параметров является метод максимального правдоподобия, предложенный в 1921 году Р.Фишером.

Сначала дадим определение функции правдоподобия, которая обозначается как L x1,...,xn, и является функцией выборки x1,...,xn и

неизвестных параметров 1,..., m , откоторых зависит теоретическая функция распределения F x F x, 1,..., m F x, .

определяется как вероятность того, что 1 x1,…, n xn, т. е. функция правдоподобия задается следующим равенством:

n

L x1,...,xn, P i xi .

i 1

Если F x, - функция распределения абсолютно непрерывной случайной величины с плотностью распределения p x, , то функция правдоподобия L x1,...,xn, задается равенством

n

Lx1,...,xn, p xi, .

i1

Предположим, что при каждом фиксированном векторе x1,...,xn функция правдоподобия достигает своего максимума в некоторой

полученной по методу максимального правдоподобия.

Таким образом, для нахождения оценки максимального правдоподобия необходимо найти точку, в которой достигается

максимальное значение функции правдоподобия L x1,...,xn, при изменении . Обычно более удобно находить максимум для функции

Пример. 1. Пусть у нас реализована схема Бернулли с неизвестной вероятностью успеха 0 1, и имеется выборка x1,...,xn , где xi 0,1 .

Поэтому оценка k является оценкой, полученной методом n

n

максимального правдоподобия. При этом k xi , т. е.

i 1

Мы видим, что в этом случае оценка, полученная методом максимального правдоподобия, будет несмещенной и состоятельной.

2. Пусть выборка производится из нормально распределенной

Здесь у нас два параметра: 1, 2 .

Найдем частные произведения первого порядка для функции lnLи приравняем их к нулю.

разных выборок) отличается от истинного значения параметра на неизвестную величину, иначе говоря, существует некоторая доля неопределенности в знании действительного значения параметра.

Введем еще одну величину, характеризующую оценку.

Определение. Среднеквадратичной ошибкой оценки параметра

называется величина 2.

Если оценка несмещенная, то

2 2 D .

Это мера отклонения оценки от оцениваемого параметра.

Иногда среднеквадратичная ошибка может быть больше у несмещенной оценки, чем у смещенной.

3) Смещение в равенстве b дифференцируемо по параметру

.

4) Интеграл

b ,

где dx dx1 ... dxn , можно дифференцировать по параметру под знаком интеграла.

0 Inf .

Интеграл Inf называется информацией по Фишеру о неизвестном параметре , содержащейся в одном наблюдении xi .

Тогда