7. Законы больших чисел и предельные теоремы: неравенство Маркова, неравенство Чебышева, теорема Чебышева, центральная предельная теорема.

Законы больших чисел и предельные теоремы

Закон больших чисел (в широком смысле) – общий принцип, согласно которому, совокупное действие большого числа случайных факторов приводит (при некоторых весьма общих условиях) к результату, почти не зависящему от случая. Другими словами, при большом числе случайных величин их средний результат перестает быть случайным и м.б. предсказан с большой степенью определенности.

Закон больших чисел (в узком смысле) – ряд математических теорем, в каждой из которых для тех или иных условий устанавливается факт приближения средних характеристик большого числа испытаний к некоторым определенным постоянным.

Неравенство Маркова (лемма Чебышева)

Теорема.Если случайная величина X принимает только неотрицательные значения и имеет мат. ожидание, то для любого положительного числа А верно неравенство P(x>A) . (1)

Доказательство: проведем для дискретной случайной величины X. Расположим ее значения в порядке возрастания, из которых часть значений x , x ,…, x будут не более числаА, а другая часть - x ,…, x будут больше А, т.е.x <=A, x <=A,…, x <=A; x >A,…, x >A.

Запишем выражение для математического ожидания M(X):

x p + x p +…+ x p + x p +…+ x p =M(X)

где p , p ,…, p - вероятности того, что случайная величина Х примет значения соответственно x , x ,…, x .

Отбрасывая первые k неотриц. слагаемых получим x p +…+ x p <=M(X) (2)

Заменяя в неравенстве (2) значения x ,…, x меньшим числомА, получим более сильное неравенство A(p +…+ p )<=M(X) или p +…+ p <= .

Сумма вероятностей в левой части полученного неравенства представляет собой, сумму вероятностей событий X=x ,…X=x т.е. вероятность события X>A.

Поэтому P(X>A) <= .

Неравенство Чебышева

Теорема.Для любой случайной величины, имеющей мат. ожидание и дисперсию, справедливо неравенство Чебышева: P(|X-a|> )<= , (3) где a=M(X), >0. ( P(|X-a| ) 1 - - другая форма записи неравенства Чебышева, тоже правильная.Ее давал Герман)

Доказательство: Применим неравенство Маркова в форме (1) к случайной величине X’=(X-a) взяв в качестве положительного числа A= . Получим <= . (4)

Т.к. неравенство равносильно неравенству |X-a|> , а M(X-a) есть дисперсия случайной величины X, то из неравенства (4) получаем доказываемое неравенство (3).

Теорема Чебышева

Если дисперсии n независимых С.В. X , X ,…, X ограничены одной и той же постоянной, топри неограниченном увеличении числа n средняя арифметическая случайных величин сходится по вероятности к средней арифметической их мат. ожиданий (M (x₁) = a , M (x₂) = a ,…, a =M (x_n), т. е.

(5) или .

Докажем формулу (5). По условию M(X )=a , M(X )=a ,…, M(X )=a ,

Возьмем такое С: D(X )<=C, D(X )<=C,…, D(X )<=C, где C - постоянное число.

Получим неравенство Чебышева для средней арифметической случайных величин, т.е. для X= . Найдем мат. ожидание M(X) и оценку дисперсии D(X)

M(X)=M( )= ;

D(X)=D( )= .

(Здесь использованы свойства математического ожидания и дисперсии, в частности, то, что случайные величины X , X ,…, X независимы, а следовательно, дисперсия их суммы равна сумме дисперсий.)

Применяем неравенство Чебышева(вариант Германа) для С.В - X=(X ,X ,…,X )/n; (6)

Т.к. по доказанному D(X) , то 1- , и от неравенства (6) перейдем к более сильному неравенству: (7)

В пределе при n величина стремится к нулю, и получим доказываемую формулу (5).

Центральная предельная теорема

Рассмотрим другую закономерность, возникающую в результате суммарного действия случайных величин. При некоторых условиях совокупное действие случайных величин приводит к определенному, а именно — к нормальному закону распределения.Центральная предельная теорема представляет собой группу теорем, посвященных установлению условий, при которых возникает нормальный закон распределения. Среди этих теорем важнейшее место принадлежит теореме Ляпунова.

Теорема Ляпунова. Если .X , X ,…, X независимые С.В, у каждой из к-х существует мат. ожидание M(X )=a, дисперсия D(X )= , абсолютный центральный момент третьего порядка M(|X -a | )=m и . (80) , то закон распределения суммы Y =X +X +…+X при n неограниченно приближается к нормальному с математическим ожиданием и дисперсией .

В данном вопросе громоздкие, хотя и достаточно понятные доказательства теорем без к-х ответ окажется очень маленьким. Хотя по усмотрению, можете обойтись перечислением теорем если не успеваете.

8.Проверка статистических гипотез: принципы практической уверенности, статистическая гипотеза и общая схема её проверки, основная и альтернативная гипотезы, простая и сложные гипотезы, ошибки первого и второго ряда при проверке гипотезы, мощность критерия

Пусть имеется некоторая выборка значений случайной величины , функция распределения которой неизвестна. Статистической гипотезой называется любое предположение о распределении наблюдений, например, предположение о том, что функция распределения совпадает с некоторой наперед заданной функцией : (такая гипотеза называется простой), или о том, что функция распределения принадлежит некоторому параметрическому семейству распределений : (сложная статистическая гипотеза).

Если рассматривается всего 2 взаимоисключающие гипотезы, то одну из них принято называть основной (нулевой) и обозначать , а другую – альтернативной (противоположной), она обозначается . Обычно за принимается такая гипотеза, отвержение которой, когда она на самом деле верна, будет иметь наихудшие последствия по сравнению с теми, когда за выбирается другая гипотеза.

При проверке статистических гипотез используется принцип практической уверенности: «если вероятность события А в данном опыте весьма мала, то можно вести себя так, как будто событие А вообще невозможно, т. е. не рассчитывать на его появление; если же вероятность события близка к 1, то можно предполагать, что оно достоверно произойдет». Таким образом, при правильном выборе допустимого отклонения вероятности правильного решения о принятии или не принятии гипотезы мы можем на основании вероятностных данных делать выводы невероятностного характера (например, о свойствах случайных величин).

Типовые постановки задачи при проверке статистических гипотез:

1) ; другие предположения невозможны.

2) Простая основная гипотеза и сложная альтернатива .

3) Сложная основная гипотеза и сложная альтернатива .

4) Гипотеза однородности: имеется несколько выборок случайных величин с распределениями соответственно. Рассматриваются сложная основная гипотеза и альтернатива .

5) Гипотеза независимости: наблюдается пара случайных величин , имеем выборку . Рассматриваются сложная основная гипотеза и альтернативная ей гипотеза .

6) Гипотеза случайности: наблюдается случайных величин . Рассматривается сложная основная гипотеза и альтернативная ей гипотеза .

Пусть имеются гипотезы . Тогда статистическим критерием называется правило принятия одной из этих гипотез на основании имеющейся выборки, то есть отображение . Для заданного критерия будем говорить, что произошла ошибка -го рода, если гипотеза была отвергнута критерием в то время как она верна. Тогда вероятность ошибки -го родадля критерия равна .

Пусть рассматриваются две простые гипотезы . Тогда критерием будет отображение , делящее на два подмножества (критическая область) и :

Вероятность ошибки первого рода: .

//////////////////////////////////////////////

Пусть дана выборка из неизвестного совместного распределения , и поставлена бинарная задача проверки статистических гипотез:

где H0 — нулевая гипотеза, а H1 — альтернативная гипотеза. Предположим, что задан статистический критерий

,

сопоставляющий каждой реализации выборки одну из имеющихся гипотез. Тогда возможны следующие четыре ситуации:

Распределение выборки соответствует гипотезе H0, и она точно определена статистическим критерием, то есть .

Распределение выборки соответствует гипотезе H0, но она неверно отвергнута статистическим критерием, то есть .

Распределение выборки соответствует гипотезе H1, и она точно определена статистическим критерием, то есть .

Распределение выборки соответствует гипотезе H1, но она неверно отвергнута статистическим критерием, то есть .

Во втором и четвертом случае говорят, что произошла статистическая ошибка, и её называют ошибкой первого и второго рода соответственно. [1][2]

			Верная гипотеза
			H0		H1
Результат  применения  критерия	H0	H0 верно принята		H0 неверно принята  (Ошибка второго рода)
	H1	H0 неверно отвергнута  (Ошибка первого рода)		H0 верно отвергнута

////////////////////////////////////////////////////////////////////

Мощностью критерия называется величина .

Несмотря на разнообразие самих гипотез и применяемых критериев, их можно объединить в следующую общую логическую схему:

1. Выдвижение гипотез и .

2. Выбор уровня значимости – вероятности ошибки первого рода. Эту величину называют также размером критерия. Выбор величины зависит от размера потерь, которые мы понесем в случае ошибочного решения.

3. Выбор критерия . Значение критерия является случайной величиной и в предположении справедливости нулевой гипотезы подчинено некоторому хорошо изученному закону распределения с плотностью .

4. Определение критической области исходя из следующего условия: . Из таблиц распределения находят квантили уровня и уровня , соответственно равные и . Они разделяют всю область возможных значений случайной величины на три части:

1 – область неправдоподобно малых ,

2 – правдоподобных ,

3 – неправдоподобно больших значений в условиях справедливости нулевой гипотезы . В тех случаях, когда опасными для нашего утверждения являются только односторонние отклонения, т. е. только «слишком маленькие» или только «слишком большие» значения критической статистики находят лишь одну квантиль: либо , либо которая будет разделять весь диапазон значений на две части.

5. Определение на основе выборочных данных численной величины статистики .

6. Выработка решения. Если , то гипотезу рекомендуется отклонить, в противном случае ее можно принять, т.к. имеющиеся данные не противоречат высказанной гипотезе.

Пусть , - плотности распределения критической статистики соответственно при справедливости нулевой гипотезы и альтернативной гипотезы , , - параметры распределения при и . Тогда ошибки первого и второго рода определяются выражениями и где - граница критической области .

Тогда мощность критерия .

9. Линейные пространства. Определение, примеры, простейшие свойства. Единственность нейтрального, единственность противоположного элемента. Линейная зависимость. Координаты векторов и их связь при переходе к другому базису.