Теория вероятностей и математическая статистика

Несмещенность выборочной дисперсии доказывается сложнее. Пусть для краткости

Состоятельность Xn сразу следует из закона больших чисел. Состоятельность Sn2 получается так: аналогично предыдущему

Поскольку Xk2 являются независимыми, то наше утверждение снова следует из закона больших чисел.

Теперь становится ясным, что множитель n11 в определении выборочной дисперсии взят вместо множителя n1 для того, чтобы добиться свойства несмещенности оценки Sn2.

1.3. Асимптотически нормальные оценки

Пусть fX1; : : : ; Xng случайная выборка, соответствующая случайной величине X и некоторый параметр, характеризующий распределение этой случайной величины (например, математическое ожидание, дисперсия и т.д.). Пусть по выборке построена некоторая величина n, которая будет служить приближенным значением параметра . В таком случае n будем называть статистической оценкой (или просто оценкой) параметра .

Определение 5.4 Оценка n параметра случайной величины называется

асимтотически нормальной с дисперсией 2, если функция распределения

p

случайной величины n ( n ) сходится при n ! 1 к функции рапределения стандартного нормального закона N(0; 1)

Теорема 5.2

1)Выборочное среднее Xn асимптотически нормально с дисперсией 2 =

D(X).

2)Выборочная дисперсия Sn2 асипмтотически нормальна с дисперсией

Свойства асимптотической нормальности используются при нахождении границ оцениваемого параметра случайной величины.

§2. Методы получения точечных оценок

2.1.Метод моментов

2.2.Метод максимального правдоподобия

§3. Интервальное оценивание

3.1.Надежность и доверительный интервал

При изучении любого параметра случайной величины по статистическим данным мы получаем некоторое приближенное значение n этого параметра. При этом нас интересует, насколько мы можем доверять этому приближенному значению. Поскольку статистические методы основаны на теории вероятностей, то они не могут категорически утверждать, что, скажем,j n j < , а могут говорить лишь о вероятности того, что это выполнено. В связи с этим появляются понятия надежности и доверительного интервала.

нам получить доверительный интервал

!

pp

с надежностью, приблизительно равной (x квантиль порядка для функции Лапласа).

3.4. Дисперсия при неизвестных параметрах

Можно строить доверительный интервал, как и выше, исходя из асимптотической нормальности дисперсии. Тогда мы приходим к тому, что

доверительный интервал для дисперсии 2 с надежностью, приблизительно равной (x квантиль порядка для функции Лапласа). Здесь

3.5. Дисперсия нормального распределения

Определение 5.6 Пусть Y1; : : : ; Ys набор нормальных попарно независимых случайных величин класса N(0; 1). Распределение случайной величины

s

X

2s = Yk2 k=1

называется распределением Пирсона (или 2-распределением) с s степенями свободы.

Плотность этого распределения равна

и равна нулю для отрицательных x.

Если X нормально распределенная случайная величина с дисперсией 2, то случайная величина

(n 1)S2

2 = n

n1 2

имеет 2-распределение с n 1 степенями свободы. Если задана надежность , то можно найти числа z1 и z2 так, чтобы

доверительный интервал для дисперсии 2 нормального распределения с надежностью . Числа z1 и z2 определяются по таблицам для распределения Пирсона.

§ 4. Метод наименьших квадратов

Пусть = ( 1; : : : ; m) вектор неизвестных параметров, который нужно определить. Однако наблюдается не сам вектор , а другой вектор X = (X1; : : : ; Xm), полученный из линейным преобразованием с матрицей A = faijgn;mi=1;j=1. Кроме того, наблюдения осуществляются с некоторыми случайными ошибками Ei, причем M(Ei) = 0 (это означает, что ошибки не являются систематическими), D(Ei) = i2 и M(EiEj) = 0:

m

X

Xi = aij j + Ei; i = 1; l : : : n:

j=1

Для определения оценок вектора рассмотрим квадратичную функцию

XX

R( 1; : : : ; m) = Xi aij j

i=1 j=1

и определим, при каких значениях k математическое ожидание этой случайной величины будет минимальным:

Это выражение будет минимальным, если первое слагаемое справа равно нулю, в частности, при i = i, то есть при истинных значениях параметров. Поэтому мы и возьмем в качестве оценок для i такие значения i, которые минимизируют функцию R( 1; : : : ; m).

Необходимым условием точки минимума функции многих переменных является равенство нулю ее частных производных, то есть

:

Отсюда получаем систему линейных уравнений

относительно неизвестных 1; : : : m. Решение этой системы можно найти либо методом Гаусса исключения неизвестных, либо методом определителей.

§ 5. Простая линейная регрессия

Метод наименьших квадратов можно использовать и для определения коэффициентов 1; 2 линейной зависимости

Y = 2X + 1

между случайными величинами X и Y по их наблюдениям Xi и Yi (i = 1; : : : ; n)

вn экспериментах. Такая модель называется простой линейной регрессией.

Вкачестве оценок 1 и 2 для параметров 1 и 2 возьмем те, которые минимизируют функцию квадратичного отклонения

n

X

R( 1; 2) = (Yi 2Xi 1)2 :

i=1

Приравнивая к нулю частные производные этой функции, получим систему уравнений

6.3. Статистика и область принятия гипотезы

Решение о принятии статистической гипотезы принимается по значению некоторой функции выборки, которая называется статистикой и обозначается

C.

Множество значений статистики, при которых H0 принимается, называется

областью принятия гипотезы или допустимой областью.

Множество значений статистики, при которых H0 отвергается и принимается H1, называется критической областью и обозначается W .

Статистика C и критическая область W должны удовлетворять условиям

P(C 2 W j H0) = ; P(C 2= W j H1) ! min :

Ошибки первого и второго рода конкурируют между собой, невозможно сделать их как угодно малыми одновременно.

6.4. Этапы проверки статистической гипотезы

Итак, при проверке статистической гипотезы необходимо выполнить следующее:

1)сформулировать нулевую гипотезу H0,

2)задать случайную величину C (статистику), по значениям которой будем судить о возможности принять или отвергнуть H0, и выбрать уровень значимости ,

3)определить по уровню значимости критическую область W ,

4)вычислить по выборке значение статистики C и определить, принадлежит оно критической области или нет, и на основании этого принять H0 или H1.

6.5. Гипотеза о виде распределения

Рассмотрим вопрос проверки статистической гипотезы о виде распределения случайной величины X. На основании каких-то соображений предположим, что F (x) является функцией распределения случайной величины X, и по выборке построим статистическую функцию распределения Fn(x).

Для проверки гипотезы H0 = fF = FX g применим так называемый 2- критерий Пирсона, позволяющий проверить, ”хорошо” ли согласуются F (x) и

Fn(x).

Вся область изменения случайной величины X разбивается на m полуинтервалов [ak1 ; ak) (которые могут иметь различную длину). По выборке составляем вариационный ряд

Если какая-то из частот nk 6 5, то соответствующий интервал объединяют с одним из соседних интервалов. Этот процесс продолжаем до тех пор, пока все частоты, не будут больше 5. В результате этого мы получим новый вариационный ряд.

По гипотетическому распределению F находим вероятности

pk = F (ak) F (ak1 ) = P(X 2 [ak1 ; ak))

итеоретические частоты k = npk (n объем выборки).

Вкачестве статистики используем случайную величину

теоретического распределения F (x), оценки которых вычислялись по выборке (например, для нормального распределения r = 2). Для функции распределения Пирсона существуют таблицы, с помощью которых по заданному уровню значимости можно определить такое число x1 (квантиль порядка 1 ),

= 1 .

6.6. Критерий согласия Пирсона

Определим следующее правило для принятия гипотезы о виде распределения.

Критерий согласия Пирсона ( 2-критерий). Если Q2 < x1 , то принимаем гипотезу H0, eсли Q2 > x1 , то принимаем гипотезу H1.

При таком правиле вероятность отвергнуть гипотезу H0 при условии, что она верна, равна

P Q2 > x1 = 1 P Q2 < x1 1 P 2 < x1 = :

Таким образом, вероятность ошибки первого рода приблизительно равна . С помощью закона больших чисел можно показать, что вероятность ошибки второго рода стремится к нулю при n ! 1.