4. Оценивание параметров методом максимального правдоподобия.

Будем считать, что как и ранее, плотности вероятности случайных величин x₁, x₂,…,x_n зависят от параметров {U₁, U₂,…,U_r}. Функция правдоподобия p(x/u) для независимых наблюдений имеет вид (3.25)

Разумным выбором оценок параметров {U_i} является выбор таких U^*₁, U₂^*,…,U_r^*, которые дают максимальное значение функции правдоподобия.

Оценки параметров U₁, U₂,…,U_r , найденные максимизацией функции правдоподобия, называются оценками максимального правдоподобия.

Так как положение максимумов функций p(x/U) и ln p(x/U) совпадает, удобнее рассматривать вторую функцию, так как процесс нахождения максимума ln p(x/U) в целом ряде случаев проще.

Используя необходимые условия экстремума функции, получим в предположении, что допустимо дифференцирование ln p(x/U) по U_i систему

i=1,2,…,n (3.29)

Эта система в общем случае является нелинейной системой алгебраических уравнений.

Для решения этой системы, т.е. для нахождения оценок, в общем случае приходится применять численные методы. Одним из наиболее распространенных является следующий.

Разложим функцию правдоподобия l(U) в ряд Тейлора в окрестности точки U⁰ и получим

l(U) (3.30)

Или, используя матричные обозначения, запишем

l(U)=l(U⁰)+(U-U⁰)c+1/2(U-U⁰)^TA(U-U⁰)…,

где А-квадратичная матрица размером m*m с элементом , стоящих в i-строке и в j-столбце; с-вектор-столбец с элементами .

Пренебрегая в (3.30) членами третьего порядка и выше порядков, найдем из уравнения

l(U)=l(U⁰)+1/2ΔU ^T AΔU (3.31)

поправки ΔU=b, минимизирующие l(U). С этой целью мы продифференцируем (3.31) по b_i и приравняем частные производные нулю.

Получим систему уравнений

……………………………………………………………………………….

Решая эту систему уравнений относительно вектора поправок ΔU=U- U⁰, уточним значения параметров. Процедуру можно повторить, заменяя в уравнении (3.31) вектор U⁰ на вектор U⁰+ ΔU. Исследуем свойства получаемых оценок. Для этого заметим, что в точке максимума правдоподобия

, i=1,2,…,m.

Тогда

l(U) l(U⁰)+1/2(U- U⁰)^TA(U- U⁰) (3.32)

В пределе при n элементы матрицы А, которые зависят от конкретной выборки, можно заменить соответствующими математическими ожиданиями

.

4. Интервальные оценки параметров распределения

Наряду с точечными оценками параметров, представляющими из себя некоторую функцию от выборки, в статистике широкое использование находят интервальные оценки параметров. Интервальная оценка параметра указывает границы возможных значений выборочных оценок с некоторой заданной степенью достоверности. Поэтому интервальные оценки параметров позволяют установить точность и надежность точечных оценок. Границы возможных значений называются доверительными интервалами. Заданная степень достоверности называется доверительной вероятностью. Смысл интервальной оценки становится очевидным, если вспомнить, что любая точечная оценка (статистика) является случайной величиной и, когда g(x) непрерывная функция, а {x_i} случайные величины, характеризующиеся плотностями f(x_i), то полностью определяется плотностью вероятности g_n(U).

Предположим, что оцениваемый параметр неслучайное число. Ясно, что оценка тем точнее, чем меньше абсолютная величина / -U_n/ и, следовательно, точность оценки Q_n можно характеризовать неравенством

/ -U_n/ (3.33)

где -некоторое положительное число.

Так как случайная величина, то неравенство (3.33) имеет вероятностный смысл и важно знать- какова вероятность выполнения этого неравенства при фиксированном . Эта вероятность и является доверительной вероятностью P_дов. При практических расчетах чаще решают обратную задачу- по заданной доверительной вероятности находят такое , что

P{/ -U_n/< }=P_дов. (3.34)

Интервал [( -U_n)( +U_n)] называется доверительным интервалом.

Из равенства (3.34) следует

P{/ -U_n/< }=Р [ -U_n<U< +U_n] (3.35)

т.е. соотношения (3.34) и (3.35) характеризуют (для несмешанной оценки) вероятность того, что интервал ( -U_n)( +U_n) заключает в себе (покрывает) неизвестный параметр U и равен Р_дов.