Учебное пособие по ТВ и МС

моменты первого порядка. Момент ν~1(М ) = x , следовательно, оценка метода моментов параметра λ есть выборочное среднее x .

Пример 8.2. Случайная величина ξ имеет нормальный закон распределения N (a,σ ) , при этом числовые значения параметров a и σ2 неизвестны. Найдем оценки метода моментов для этих параметров.

Используя формулу (3.5), выразим моменты ν1 и ν2 через a и σ2:

Замечание 8.2. Оценки метода моментов обычно состоятельны, однако по эффективности они не являются «наилучшими», т.к. их эффективность e(θ~n(М) )

часто значительно меньше единицы. Тем не менее, метод моментов часто используется на практике, благодаря сравнительно простым вычислениям. Это объясняется тем, что для большинства статистических моделей, соответствующих основным вероятностным распределениям, система (8.1) без труда решается в каждом конкретном случае.

Упражнение 8.1. Показать, что для логистического распределения с

плотностью pξ (x,θ) = e−x+θ (1+ e−x+θ )−2 , − ∞ < x < ∞, θ (−∞,∞) несмещенной и состоятельной оценкой параметра θ является выборочное среднее x .

Упражнение 8.2. Найти методом моментов оценки параметров «двойного» распределения Пуассона, задаваемого вероятностями

101

8.1.2. Метод максимального правдоподобия

Основным методом получения оценок параметров генеральной совокупности по выборочным данным является метод максимального правдоподобия.

Пусть в результате статистического наблюдения получена выборка

i=1

называется функцией правдоподобия. Функцию (тоже случайную)

ln L(x1,K, xn ,Θ)

называют логарифмической функцией правдоподобия.

Определение 8.2. Согласно методу максимального правдоподобия искомые

~

правдоподобности получения наблюдений x1 ,K, xn . И оценки Θ(МП) таковы, что имеющиеся наблюдения x1 ,K, xn наиболее правдоподобные.

Замечание 8.3. Если функция правдоподобия L(x1,K, xn ,Θ) является дифференцируемой по переменным x1 ,K, xn , то оценка наибольшего правдоподобия удовлетворяет следующей системе уравнений:

∂L(x1 ,K, xn ;θ1 ,K,θK ) = 0, i = 1, K .

∂θi

Эта система представляет собой известное из курса математического анализа необходимое условие экстремума функции многих переменных.

102

~

Нахождение Θ(МП) упрощается, если максимизировать не саму функцию L, а ln L , поскольку максимум обеих функций достигается при одних и тех же

а затем отобрать то решение, которое обращает функцию ln L в максимум.

Для дискретной случайной величины ξ вместо плотности вероятности pξ (x, Θ) используем функцию вероятности pξ (xi , Θ) = P(ξ = xi , Θ) = pi .

Пример 8.3. Найти МП-оценку для вероятности p наступления некоторого события A по данному числу m появления этого события в n независимых испытаниях.

Решение. Составим функцию правдоподобия:

события.

Пример 8.4. Найдем методом максимального правдоподобия оценки параметров a и σ2 нормального закона распределения по выборке x1 ,K, xn .

Плотность вероятности нормально распределенной случайной величины ξ

103

Тогда функция правдоподобия примет вид:

Для нахождения параметров a и σ2 надо согласно (8.4) решить систему уравнений правдоподобия:

Таким образом, МП-оценками математического ожидания a и дисперсии σ2 нормально распределенной случайной величины являются соответственно

выборочная средняя арифметическая x и выборочная дисперсия s2.

Пример 8.5. Найдем методом максимального правдоподобия оценки параметров a и b равномерного на отрезке [a,b] распределения по выборке

x1 ,K, xn .

Функция правдоподобия равна

104

При первом условии система (8.4) не разрешима, при втором – не

эффективная оценка θ~nэ , то оценка максимального правдоподобия

единственная и равна этой эффективной оценке θ~nэ . Кроме того, при

достаточно общих условиях оценки максимального правдоподобия являются состоятельными, асимптотически эффективными и имеют асимптотически нормальное распределение.

Замечание 8.3. Основной недостаток метода максимального правдоподобия

– трудоемкость вычисления оценок, связанных с решением уравнений правдоподобия, чаще всего нелинейных. Существенно также и то, что для построения МП-оценок и обеспечения их «хороших» свойств необходимо

точное знание типа анализируемого закона распределения pξ (x, Θ) , что во многих случаях оказывается практически нереальным.

Упражнение 8.3. Пусть x1 ,K, xn − выборка из распределения Пуассона. Найти методом максимального правдоподобия оценки параметра λ.

105

8.1.3. Метод наименьших квадратов

Метод наименьших квадратов (МНК) – один из наиболее простых приемов построения оценок. Суть его заключается в том, что оценка определяется из условия минимизации суммы квадратов отклонений выборочных данных от определяемой оценки.

Дадим постановку задачи для линейной модели в общем случае. Запишем линейную модель в виде

Y = XΘ+ Ε ,

где Y − вектор-столбец наблюдений y1 ,K, yn размерности n,

X − матрица известных коэффициентов xij , i =1, n, j =1, K (n > K ) , Θ − вектор-столбец неизвестных параметров θ1 ,K,θK размерности K,

E − вектор-столбец наблюдений ε1,K,εn размерности n, которые некоррелированы, имеют нулевое математическое ожидание и дисперсию σ2.

Определение 8.3. Метод наименьших квадратов состоит в минимизации скалярной суммы квадратов

по компонентам θ1 ,K,θK вектора Θ. Необходимым условием обращения (8.5) в минимум является условие

106

Согласно методу наименьших квадратов оценка θ~ находится из условия минимизации суммы квадратов отклонений выборочных значений xi от значения искомой МНК-оценки:

f(θ~(МНК) ) = ∑n (xi −θ~(МНК) )2 → min .

i=1

Используем необходимое условие экстремума

т.е. МНК-оценка математического ожидания есть выборочная средняя арифметическая.

Замечание 8.4. Метод наименьших квадратов, отличаясь по подходу от метода максимального правдоподобия, и, обладая своими собственными оптимальными свойствами, совпадает с методом МП в важном случае нормально распределенных наблюдений.

Метод наименьших квадратов получил самое широкое распространение в практике статистических исследований, т.к.:

-не требует знания закона распределения выборочных данных;

-имеет простую вычислительную реализацию.

Вотличие от метода максимального правдоподобия, МНК в общем случае не обладает даже асимптотическими оптимальными свойствами. Однако в одном очень важном классе ситуаций он, даже при малых выборках, обладает

свойством оптимальности. А именно, если все наблюдения (варианты) xi

имеют одинаковые дисперсии, взаимно некоррелированы и являются линейными функциями неизвестных параметров, то МНК дает несмещенные оценки, которые имеют минимальную дисперсию (т.е. обладают свойством эффективности).

В последние годы развиваются робастные (или устойчивые) методы оценивания. Они позволяют находить оценки, хотя и не являющиеся наилучшими в рамках предполагаемого закона распределения, но обладающие достаточно устойчивыми свойствами при отклонении реального закона от предполагаемого. Например, устойчивой оценкой математического ожидания

по конечной выборке является медиана xmed этой выборки.

107

8.2. Определение эффективных оценок с помощью неравенства Рао-Крамера-Фреше

Рассмотрим более подробно вопрос об эффективности оценок. В определении 8.4 было дано понятие эффективности оценки, но как ее определять не показано.

Пусть pξ (x,θ) − плотность вероятности случайной величины ξ, если ξ − непрерывна, и pξ (xi ,θ) = P(ξ = xi ,θ) , если ξ − дискретна, θ − неизвестный параметр.

Предложение 8.2. При выполнении функцией pξ (x,θ) достаточно общих

условий регулярности: дифференцируемости по θ, независимости области определения от θ и т.д., являющихся достаточно общими, справедливо

неравенство Рао-Крамера –Фреше (неравенство информации):

где D[θ~] − дисперсия оценки θ~ параметра θ; n − объем выборки;

I(θ) − количество информации Фишера о параметре, содержащееся в единичном наблюдении и определяемое формулами:

в дискретном случае

Если e(θ~) = 1, то θ~ − эффективная оценка параметра θ в классе S всех его несмещенных оценок. Т.е. неравенство информации (8.6) позволяет найти тот

108

N (a,σ ) оценка X параметра a является эффективной в классе несмещенных

оценок, а оценка s2 параметра σ2 является, после исключения смещения, асимптотически эффективной.

Решение. Оценка X − несмещенная, и D[X ] =σ 2 n . Предположив, что σ2 известна, и, используя формулу (8.7), в которой, с учетом нормальности распределения

получим, что e(X ) =1. Следовательно, X − эффективная оценка.

Оценка дисперсии σ~n2 смещенная; исключив смещение (см. (7.9)), получим оценку

эффективность e0 (s2 ) = lim e(s2 ) = 1.

n→∞

Следовательно, s2− асимптотически эффективная оценка.

Замечание 8.5. В заключение обсуждения методом нахождения оценок, отметим, что, даже имея большие объемы экспериментальных данных, мы не имеем возможности указать точные значения оцениваемых параметров, а определяем лишь их оценки, близкие «в среднем», или «в большинстве

109

случаев». Поэтому важной задачей является, рассматриваемое далее, определение точности и достоверности найденных оценок.

8.3. Интервальные оценки числовых характеристик случайных величин

Точечные оценки параметров генеральной совокупности могут быть приняты в качестве ориентировочных, первоначальных результатов обработки выборочных данных. Их недостаток заключается в том, что неизвестно, с какой точностью оценивается параметр. Если для выборок большого объема точность обычно бывает достаточной (при условии несмещенности, эффективности и состоятельности оценок), то для выборок небольшого объема вопрос точности оценок становится очень важным.

Определение 8.4. Интервальной оценкой параметра θ называется числовой интервал (θ~n(1) ,θ~n(2) ), который с заданной вероятностью γ накрывает неизвестное

данным, т.е. являются случайными величинами в отличие от параметра θ −

0,999 . Тогда вероятность того, что интересующий нас параметр попал в интервал (θ~n(1) ,θ~n(2) ) достаточно высока. Число (θ~n(1) +θ~n(2) )2 – середина доверительного интервала – будет давать значение параметра θ с точностью (θ~n(2) −θ~n(1) )2 , которая представляет собой половину длины доверительного интервала.

110