Учебное пособие по ТВ и МС

Всегда существует множество функций от результатов наблюдений X1,K, X n , которые будут оценками параметра θ. Например, в главе 6 были

рассмотрены несколько оценок математического ожидания – средняя арифметическая, средняя геометрическая, медиана, мода и т.д.

Возникает проблема – как измерить «близость» оценки θ~n к истинному

значению θ, или как определить качество оценки?

Качество оценки определяется не по одной конкретной выборке, а по всему мыслимому набору конкретных выборок, т.е. по случайной выборке. Поэтому для установления качества полученных оценок следует в соответствующих

формулах заменить конкретные выборочные значения xi на случайные

выборочные значения Xi.

Качество оценки устанавливают, проверяя, выполняются ли следующие три свойства: состоятельность, несмещенность и эффективность.

Определение 7.2. Оценка θ~n называется состоятельной, если она сходится по вероятности к истинному значению θ :

Данное свойство желательно, но не обязательно. Часто полученная оценка бывает смещенной, но ее можно скорректировать так, чтобы она стала несмещенной. Иногда оценка бывает смещенной, но асимптотически несмещенной, что означает:

lim M[θ~n ] =θ .

n→∞

91

Эффективность является решающим свойством, определяющим качество оценки. Эффективность оценки θ~n определяется отношением:

между несмещенностью и эффективностью – используют незначительно смещеннные оценки или оценки, обладающие большей дисперсией D[θ~n ] по

сравнению с эффективными оценками.

Ниже рассмотрим, какими из свойств обладают некоторые полученные выше оценки числовых характеристик.

7.2.1. Среднее арифметическое выборочных значений как оценка математического ожидания

Пусть случайная величина ξ имеет математическое ожидание и дисперсию,

равные соответственно a и σ 2 . Для случайной выборки оценка математического ожидания примет вид:

Согласно следствию 5.1 закона больших чисел

P

X → a ,

n→∞

что означает состоятельность оценки ~n = . a

X

Несмещенность оценки a~n устанавливается прямой проверкой:

Теперь докажем, что a~n эффективна в классе линейных несмещенных

оценок.

Линейная оценка имеет вид:

92

Поэтому для определения наиболее эффективной в классе линейных

i=1

Задача (7.6) – задача на условный экстремум, которая сводится к задаче на безусловный экстремум. Строим для (7.6) функцию Лагранжа:

Для определения точки экстремума находим частные производные и приравниваем их к нулю:

93

~n = является эффективной в классе линейных несмещенных оценок. a X

т.е.

Изучение свойств этой оценки начнем с проверки на несмещенность. Раскрыв квадрат под знаком суммы в уравнении (7.7), имеем:

Далее найдем каждое из слагаемых в скобках под знаком суммы:

ограничения общности будем считать, что M[X i ] = 0 , т.к. мы всегда можем

94

отнять X от всех X i . Отметим, что это смещение стремится к нулю при

n→ ∞.

Сцелью устранения смещения скорректируем оценку следующим образом:

формуле (7.9) оценка не смещена.

Предложение 7.1. При увеличении объема случайной выборки:

т.е. оценка (7.9) является состоятельной.

Доказательство. Без ограничения общности считаем, что M[X i ] = 0 . При этом предположении M [X i2 ] = D[X i ] = σ 2 . Из (7.9) вытекает, что

Применяя закон больших чисел в форме Хинчина (предложение 5.2) к последовательности X12 ,K, X n2 , имеем

Упражнение 7.1. Докажите, что в случае нормального распределения случайной величины ξ, дисперсии оценок дисперсии D[ξ] таковы:

95

7.2.3. Сравнение оценок

Предположим, что у нас имеются две несмещенные оценки θ~'(X1 ,K, X n ) и

θ~''(X1,K, X n ) для скалярного параметра θ R . Возникает дилемма – какую из

оценок предпочесть? Простой и разумный совет состоит в том, чтобы выбрать оценку с меньшей дисперсией.

Пример 7.1. Предположим, что X1,K, X n – независимая случайная выборка из равномерного распределения в отрезке [θ −1,θ +1] , где θ – неизвестный параметр. Рассмотрим две следующие оценки для θ:

Нетрудно установить, что обе эти оценки являются несмещенными и

D[θ~'] = 21n .

Немного более сложное вычисление показывает, что

Следовательно, при больших n дисперсия второй оценки стремится к нулю быстрее, чем дисперсия выборочного среднего. Другими словами, при

достаточно большом объеме выборки оценка θ~'' становится эффективней оценки θ~' .

Упражнение 7.2. Для оценки θ~''(X1,K, X n ) из примера 7.1 проверить, что M [θ~''] = 0 и вычислить D[θ~'']. Указание: при нахождении дисперсии предварительно потребуется совместная плотность случайных величин min X i

и max X i .

7.3. Оценка функций распределения и плотности

Оценку функции распределения вероятностей Fn (x) получаем по тому же принципу, который был применен при оценивании числовых характеристик: оценкой функции распределения генеральной случайной величины ξ служит

96

функция распределения выборки x1 ,K, xn , определенная по формуле (6.2). На рис. 7.1 приведен пример эмпирической функции распределения.

nL

nL−1 n

n

n2

n

n1

n

Рис. 7.1.

сходится по вероятности к теоретической функции распределения в этой точке:

тогда случайная выборка X1,K, X n порождает схему Бернулли, на каждом шаге

выборочные случайные величины Xi распределены как генеральная случайная величина ξ.

Тогда значение эмпирической функции распределения в любой точке x для конкретной выборки x1 ,K, xn является отношением числа положительных исходов (т.е. исходов, для которых {Xi < x}) к общему числу исходов n, а при переходе к случайной выборке X1,K, X n становится случайной величиной(x) / n , где (x) – биномиальная случайная величина.

97

Согласно теореме Бернулли (см. следствие 2.2), частость (x) / n сходится по вероятности к вероятности p , поэтому

что и требовалось доказать.

Функция плотности pξ (x) оценивается с помощью гистрограммы следующим образом. Вся числовая прямая разбивается на L непересекающихся

интервал. Затем над каждым полуинтервалом i-м строится прямоугольник, площадь которого пропорциональна ni.

Точно так же, как и выше, можно доказать, что частости попадания на полуинтервалы сходятся по вероятности к соответствующим вероятностям

При подходящем подборе полуинтервалов гистограмма pn (x) будет напоминать график функции плотности pξ (x) .

Если известно, что плотность отлична от нуля только на некотором отрезке, то полуинтервалы можно, и желательно, выбирать одинаковой длины

h, а площади прямоугольников – равными частостям ni / n , поэтому вся

площадь под гистограммой будет равна единице. На рис. 7.2 показан пример такой гистограммы.

Рис. 7.2.

98

Упражнение 7.3. Изобразить эмпирическую функцию распределения, соответствующую выборке объема n из распределения Бернулли.

Глава 8. Точечные и интервальные оценки параметров распределений

Имеется два подхода к оцениванию неизвестных параметров распределений по наблюдениям: точечный и интервальный. Точечный указывает лишь точку, около которой находится оцениваемый параметр; при интервальном находят интервал, который с некоторой, как правило, большой, вероятностью, задаваемой исследователем, накрывает неизвестное числовое значение параметра.

8.1. Методы построения точечных оценок

Точечное оценивание параметров распределений можно осуществлять следующими методами:

-моментов (М-оценивание);

-максимального правдоподобия (МП-оценивание);

-наименьших квадратов (МНК-оценивание);

-робастными (устойчивыми к отклонению модели от заданного вида);

-минимума χ2 (МХК-оценивание) и др.

Ниже рассмотрим оценивание параметров методами моментов, максимального правдоподобия и наименьших квадратов.

8.1.1. Метод моментов

Пусть некоторая непрерывная случайная величина ξ описывается моделью pξ (x, Θ) , где Θ = (θ1 ,K,θK ) . Необходимо оценить неизвестные параметры Θ

модели по выборке конечного объема x1 ,K, xn , полученной из генеральной

совокупности.

Суть М-оценивания состоит в приравнивании оценок моментов (начальных, центральных) эмпирического распределения соответствующим теоретическим моментам выбранной модели, являющимся функциями неизвестных параметров модели, и затем решении полученной системы уравнений.

Количество уравнений в системе определяется количеством искомых параметров.

Начальные и центральные теоретические моменты k-го порядка могут быть получены из выражений

99

состоятельными оценками моментов νk и µk , приравниваем их друг другу. В результате получим систему уравнений

параметров Θ, получим М-оценки θ~i(М) , i =1, K .

Если случайная величина ξ является дискретной, то вместо плотности вероятности pξ (x, Θ) используем функцию вероятности

pξ (xi , Θ) = P(ξ = xi , Θ) = pi , а начальные и центральные теоретические моменты рассчитываем по формулам

Замечание 8.1. Вопрос о том, какие начальные и центральные моменты включать в систему (8.1) следует решать, руководствуясь конкретными целями исследования и сравнительной простотой форм зависимостей моментов от параметров. В статистической практике, как правило, ограничиваются четвертыми моментами.

Предложение 8.1. Пусть решение системы (8.1) существует, причем функции

непрерывны в точке m = (v1 , K, vK1 , µ1 , K, µK2 ) . Тогда оценки, полученные по методу моментов, состоятельны. #

Пример 8.1. Найдем оценку параметра λ закона распределения Пуассона. Известно, что для случайной величины ξ, распределенной по закону

100