2к4с Математическая статистика и прогнозирование / МУ к самостоятельной работе

11

Метод максимального правдоподобия нахождения оценок параметров распределения

Пусть дана выборка независимых наблюдений их распределения, вид которого известен с точностью до неизвестного параметра .

Совместное распределение наблюдений, рассматриваемое как функция неизвестного параметра , называется функцией правдоподобия выборки:

L(x1, x2, xn ; ) f (x1, ) f (x2 , ) f (xn , ) ,

где f (x, ) обозначает плотность распределения, если оно непрерывно, или вероятность значения x , если оно дискретно.

Согласно принципу максимального правдоподобия в качестве оценки для надо взять такое значение из области допустимых значений , при котором функция правдоподобия принимает максимальное значение.

дит в виде степени, то удобно перейти к логарифму функции правдоподобия:

где символ обозначает слагаемое, не зависящее от p . Дифференцируя это выражение по p получим:

12

Среднеквадратический и асимптотический подход к сравнению оценок

Среднеквадратический подход

Пусть X1, X2,…, Xn выборка объема п из семейства распределений {p (t), 1} и *1, *2 — две оценки неизвестного параметра .

Определение 1. Оценка *1 лучше, чем *2, если выполняется

Отметим, что если в определении 1 знак < заменить на , >, , то получим понятия: « *1 не хуже», «хуже», «не лучше», чем *2, соответственно.

Если h( ) = E *— смещение оценки *, то

E 2 E h( ) E 2

E E 2 E h2 D (h( ))2 .

Так как для несмещенных оценок *1 и *2 смещение h( ) = 0, то в определении 1 величины E ( *i— )2 заменяются на D *i, i = 1, 2. Тем самым, сравнение несмещенных оценок сводится к сравнению дисперсии этих оценок.

Определение 2. В классе несмещенных оценок неизвестного параметра оценка * с минимальной дисперсией называется эффективной оценкой.

Асимптотический подход

Пусть *1 и *2 две асимптотически нормальные оценки, т.е. или

Определение 1. Оценка *1 лучше, чем *2, если 21 < 22.

Естественно асимптотический подход менее предпочтителен, поскольку может быть применен в случае выборки большого объема и только в классе асимптотически нормальных оценок.

Пример. Пусть X1, X2,…, Xn выборка из показательного распределения Г ,1, = — неизвестный параметр. Получены две оценки

Без доказательства заметим, что эти оценки асимптотически нормальны с коэффициентами 21 = 2 и 22 = 5/4 2.Сравнив 21 и 22 мы видим, что оценка *1 лучше, чем *2.

Определение 2. В классе асимптотически нормальных оценок параметраоценка * с минимальным коэффициентом 2 называется асимптотически эффективной оценкой.

Неравенство Рао - Крамера

Попытаемся указать нижнюю границу дисперсии D * оценки *. Этот вопрос решается с помощью неравенства Рао - Крамера.

Пусть X1, X2,…, Xn выборка из семейства распределений {p (t), 1}. Рассмотрим функцию L(t, ) = ln p (t) и найдем ее производную по :

Предположим, что выполнено некоторое условие регулярности (R):

а) в случае распределения непрерывного типа функции p (t) непрерывно дифференцируемы по для почти всех t, а интегралы

существуют и непрерывны по ; б) в случае распределения дискретного типа существуют частные производные p (t) / , а ряды

сходятся абсолютно и равномерно в 1,

где p (i)—вероятности принятия значений i, дискретной случайной величины.

I( )—называется информационным количеством Фишера. Без доказательства сформулируем следующую теорему.

Теорема (неравенство Рао - Крамера). Пусть выполнено условие (R).

Тогда для оценки * неизвестного параметра справедливо следующее неравенство

Следствия теоремы.

1. При выполнении условий теоремы справедливо неравенство

14

если же * — несмещенная оценка, то справедливо неравенство

2. Если выполнено условие (R) и в неравенстве Рао-Крамера достигается равенство, то * — эффективная оценка в классе оценок со смещением h( ), т.е.

Тема 2. Методы статистической проверки гипотез

Критерий Стьюдента для связанных (парных) выборок

В случае связанных выборок с равным числом измерений в каждой можно использовать более простую формулу t-критерия Стьюдента.

Вычисление значения t осуществляется по формуле:

где — разности между соответствующими значениями переменной X и переменной У, а d - среднее этих разностей;

Sd вычисляется по следующей формуле:

Число степеней свободы k определяется по формуле k=n-1. Рассмотрим пример использования t-критерия Стьюдента для связных и, очевидно, равных по численности выборок.

Если tэмп<tкрит, то нулевая гипотеза принимается, в противном случае принимается альтернативная.

Пример. Изучался уровень ориентации учащихся на художественноэстетические ценности. С целью активизации формирования этой ориентации в экспериментальной группе проводились беседы, выставки детских рисунков, были организованы посещения музеев и картинных галерей, проведены встречи с музыкантами, художниками и др. Закономерно встает вопрос: какова эффективность проведенной работы? С целью проверки эффективности этой работы до начала эксперимента и после давался тест.

15

Таблица1. Результаты эксперимента

Решение Вначале произведем расчет по формуле:

Затем применим формулу (6), получим:

И, наконец, следует применить формулу (5). Получим:

Число степеней свободы: k=10-1=9 и по таблице Приложения 1 находим tкрит =2.262, экспериментальное t=6,678, откуда следует возможность принятия альтернативной гипотезы (H1) о достоверных различиях средних арифметических, т. е. делается вывод об эффективности экспериментального воздействия.

В терминах статистических гипотез полученный результат будет звучать так: на 5% уровне гипотеза Н0 отклоняется и принимается гипотеза Н1 .

16

Критерии согласия Колмогорова

Критерий согласия Колмогорова (также известный, как критерий согласия Колмогорова — Смирнова) используется для того, чтобы определить, подчиняются ли два эмпирических распределения одному закону, либо определить, подчиняется ли полученное распределение предполагаемой модели.

Критерий Колмогорова — Смирнова о проверке гипотезы об однородности двух эмпирических законов распределения является одним из основных и наиболее широко используемых непараметрических методов, так как достаточно чувствителен к различиям в исследуемых выборках.

Эмпирическая функция распределения (ЭФР) случайной величины , построенная по выборке , имеет вид:

где указывает, попало ли наблюдение Xi в область :

Статистика критерия для эмпирической функции распределения определяется следующим образом:

где — точная верхняя грань множества , F - предполагаемая модель.

Критерий. Обозначим нулевую гипотезу , как гипотезу о том, что

выборка подчиняется распределению . Тогда по теореме Колмогорова для введённой статистики справедливо:

Учтём, что критерий имеет правостороннюю критическую область.

Параметрический критерий Колмогорова. Если статистика превышает процентную точку распределения Колмогорова заданного

уровня значимости , то нулевая гипотеза (о соответствии закону ) отвергается. Иначе гипотеза принимается на уровне .

Если α достаточно близко к 1, то можно приблизительно рассчитать по формуле:

Асимптотическая мощность критерия равна 1.

17

Обозначим теперь за нулевую гипотезу гипотезу о том, что две исследуемые выборки подчиняются одному распределению случайной вели-

чины .

Теорема Смирнова. Пусть — эмпирические функции распределения, построенные по независимым выборкам объёмом n и

превышает квантиль распределения Колмогорова заданного уровня значимости , то нулевая гипотеза (об однородности выборок) отвергается. Иначе гипотеза принимается на уровне .

Критерий знаков

Критерий предназначен для сравнения состояния некоторого свойства у членов двух зависимых выборок на основе измерений, сделанных по шкале не ниже ранговой.

Имеется две серии наблюдений над случайными переменными X и У, полученные при рассмотрении двух зависимых выборок. На их основе составлено N пар вида (хi, уi), где хi, уi — результаты двукратного измерения одного и того же свойства у одного и того же объекта.

Элементы каждой пары хi, уi сравниваются между собой по величине, и паре присваивается знак «+», если хi < уi , знак «—», если хi >

уi и «0», если хi = уi.

Нулевая гипотеза формулируются следующим образом: в состоянии изучаемого свойства нет значимых различий при первичном и вторичном измерениях. Альтернативная гипотеза: законы распределения величин X и У различны, т. е. состояния изучаемого свойства существенно различны в одной и той же совокупности при первичном и вторичном измерениях этого свойства.

Статистика критерия (Т) определяется следующим образом: допустим, что из N пар (х, у,) нашлось несколько пар, в которых зна-

чения хi и уi равны. Такие пары обозначаются знаком «0» и при подсчете значения величины Т не учитываются. Предположим, что за вычетом из числа N числа пар, обозначенных знаком «0», осталось всего n пар. Среди оставшихся n пар подсчитаем число пар, обозначенных знаком «-», т.е, па-

18

ры, в которых xi<yi. Значение величины Т и равно числу пар со знаком минус.

Нулевая гипотеза принимается на уровне значимости 0,05, если наблюдаемое значение T<n-ta, где значение n-ta определяется из статистических таблиц для критерия знаковПриложения 2.

Пример. Учащиеся выполняли контрольную работу, направленную на проверку усвоения некоторого понятия. Пятнадцати учащимся затем предложили электронное пособие, составленное с целью формирования данного понятия у учащихся с низким уровнем обучаемости. После изучения пособия учащиеся снова выполняли ту же контрольного работу, которая оценивалась по пятибалльной системе.

Результаты двукратного выполнения работы представляют измерения по шкале порядка (пятибалльная шкала). В этих условиях возможно применение знакового критерия для выявления тенденции изменения состояния знаний учащихся после изучения пособия, так как выполняются все допущения этого критерия.

Результаты двукратного выполнения работы (в баллах) 15 учащимися запишем в форме таблицы.

Таблица 2.

Проверяется гипотеза H0: состояние знаний учащихся не повысилось после изучения пособия. Альтернативная гипотеза: состояние знаний учащихся повысилось после изучения пособия.

Подсчитаем значение статистики критерия Т равное числу положительных разностей отметок, полученных учащимися. Согласно данным табл. 2 Т=10, n=12.

Для уровня значимости а = 0,05 при n=12 значение n—ta=9. Следовательно выполняется неравенство Т> n—ta (10>9). Поэтому в соответствии с правилом принятия решения нулевая гипотеза отклоняется на уровне значимости 0,05 и принимается альтернативная гипотеза, что позволяет сделать вывод об улучшении знаний учащихся после самостоятельного изучения пособия.

Ранговый критерий Уилкоксона

Критерий применяется для сопоставления двух зависимых выборках. С его помощью можно определить, является ли сдвиг показателя в какомто одном направлении более существенным, чем в другом.

19

Нулевая гипотеза H0={существенность сдвигов в типичном направлении не превосходит существенности сдвигов в нетипичном направлении}. На объём выборки накладывается условие: 5≤n≤50.

Алгоритм проверки:

1.Вычисляются разности между индивидуальными значениями показателя после проведения эксперимента и до него.

2.Модули разностей ранжируются в порядке возрастания.

3.Отмечаются ранги, соответствующие сдвигам в нетипичном направлении. Например, если в большинстве случаев после проведения эксперимента наблюдалось увеличение измеряемого параметра, то его уменьшение следует считать нетипичным сдвигом.

4.Эмпирическое значение критерия определяется как сумма рангов, соответствующих нетипичным сдвигам.

5.Если критическое значение не превосходит эмпирического, то на данном уровне значимости отсутствуют основания для отклонения нулевой гипотезы о несущественности различий. В противном случае нулевая гипотеза отвергается.

Для вычисления статистики упорядочивают значений объеди-

ненной выборки, определяют сумму рангов , соответствующую элементам первой выборки, и сумму рангов второй . Вычисляем

,

.

Для контроля правильности можно использовать равенство . Статистика критерия имеет вид

.

Проверяемая гипотеза отклоняется, когда значение статистики оказывается меньше критического.

Считается, что U-критерий является самым строгим непараметрическим критерием.

Для достаточно больших выборок (), когда объемы выборок не слишком малы (), используется статистика

Пример. Определим значимость различий изменений вербальной памяти до и после иппотерапии (в баллах), используя следующие данные:

20