2. Задача проверки правдоподобия гипотез

 

Эта задача тесно связана с предыдущей; при решении такого рода задач мы обычно не располагаем настолько обширным статистическим материалом, чтобы выявляющиеся в нем статистические закономерности были в достаточной мере свободны от элементов случайности. Статистический материал может с большим или меньшим правдоподобием подтверждать или не подтверждать справедливость той или иной гипотезы. Например, может возникнуть такой вопрос: согласуются ли результаты эксперимента с гипотезой о том, что данная случайная величина подчинена закону распределения  ? Другой подобный вопрос: указывает ли наблюденная в опыте тенденция к зависимости между двумя случайными величинами на наличие действительной объективной зависимости между ними или же она объясняется случайными причинами, связанными с недостаточным объемом наблюдений? Для решения подобных вопросов математическая статистика выработала ряд специальных приемов.

 

3. Задача нахождения неизвестных параметров распределения

Часто при обработке статистического материала вовсе не возникает вопрос об определении законов распределения исследуемых случайных величин. Обыкновенно это бывает связано с крайне недостаточным объемом экспериментального материала. Иногда же характер закона распределения качественно известен до опыта, из теоретических соображений; например, часто можно утверждать заранее, что случайная величина подчинена нормальному закону. Тогда возникает более узкая задача обработки наблюдений – определить только некоторые параметры (числовые характеристики) случайной величины или системы случайных величин. При небольшом числе опытов задача более или менее точного определения этих параметров е может быть решена; в этих случаях экспериментальный материал содержит в себе неизбежно значительный элемент случайности; поэтому случайными оказываются и все параметры, вычисленные на основе этих данных. В таких условиях может быть поставлена только задача об определении так называемых «оценок» или «подходящих значений» для искомых параметров, т.е. таких приближенных значений, которые при массовом применении приводили бы в среднем к меньшим ошибкам, чем всякие другие. С задачей отыскания «подходящих значений» числовых характеристик тесно связана задача оценки их точности и надежности. С подобными задачами мы встретимся в главе 14.

Таков далеко не полный перечень основных задач математической статистики. Мы перечислили только те из них, которые наиболее важны для нас по своим практическим применениям. В настоящей главе мы вкратце познакомимся с некоторыми, наиболее элементарными задачами математической статистики и с методами их решения.

 

4. Статистические оценки и их свойства.

Итак, пусть X1, . . . , Xn — выборка объёма n из параметрического семейства распределений Fθ, где θ ∈ Θ.

О п р е д е л е н и е . Статистикой называется произвольная борелевская функция θ∗ = θ∗(X₁, . . . , X_n) от элементов выборки.

З а м е ч а н и е . Статистика есть функция от эмпирических данных, но никак не от параметра θ. Статистика, как правило, предназначена именно для оценивания неизвестного параметра θ (поэтому её иначе называют оценкой) и уже поэтому от него зависеть не может. Статистика есть не любая, а измеримая функция от выборки (борелевская, для которой прообраз любого борелевского множества из R есть снова борелевское множество в Rn), иначе оценка θ∗ не будет случайной величиной. Далее мы всюду будем иметь дело только с измеримыми функциями, и отдельно это оговаривать не будем.

Свойства оценок. Дадим три определения хороших свойств оценок.

О п р е д е л е н и е . Статистика θ∗ = θ∗(X1, . . . , Xn) называется несмещённой оценкой параметра θ, если для любого θ ∈ Θ выполнено равенство Eθ∗ = θ.

О п р е д е л е н и е . Статистика θ∗ = θ∗(X1, . . . , Xn) называется асимптотически несмещённой оценкой параметра θ, если для любого θ ∈ Θ имеет место сходимость Eθ∗ → θ при n → ∞.

О п р е д е л е н и е . Статистика θ∗ = θ∗(X1, . . . , Xn) называется состоятельной оценкой параметра θ, если для любого θ ∈ Θ имеет место сходимость θ∗p−→ θ при n → ∞. p ∈ (0, 1);

Несмещённость — свойство оценок при фиксированном n. Означает это свойство отсутствие ошибки «в среднем», т. е. при систематическом использовании данной оценки. Несмещённость является желательным, но не обязательным свойством оценок. Достаточно, чтобы смещение оценки (разница между её средним значением и истинным параметром) уменьшалось с ростом объёма выборки. Поэтому асимптотическая несмещённость является весьма желательным свойством оценок. Свойство состоятельности означает, что последовательность оценок приближается к неизвестному параметру при увеличении количества наблюдений. В отсутствие этого свойства оценка совершенно «несостоятельна» как оценка.

(Другой источник) Св-ва оценок.

1. Несмещенность

Оценка * (x1…xn) – несмещенная, если при любом объеме выборке n результат ее осреднения по всем возможны выборкам данного объема, приводит к истинному значению оцениваемого параметра. M[ *] =

Характеризует оценку до асимптотического св-ва, т.е. хорошие или плохие св-ва при конечном объеме выборки.

Стат оценка * (x1…xn) – несмещенная, если ее мат ожидание = оцениваемому параметру при любом объеме выборки, т.е. M[ *] =

2. Эффективность

Стат оценка * (x1…xn) –- эффективная, если при заданном объеме выборки оценка имеет min D (дисперсия – разброс вокруг среднего значения). D(Х)=М[Х-М(Х)]² - мат ожидание кВ отклонения С.В. от ее мат ожидания.

3. Состоятельность (при большом n)

Стат оценка * (x1…xn) – состоятельная, если при n ∞ , оценка  по вероятности к истинному знач .

* (x1…xn) --------

5. Достаточные статистики. Экспоненциальные семейства статистик.

Итак, предположим, что задана параметрическая статистическая модель, т.е. семейство априори допустимых распределений вероятностей Pθ, где θ — конечномерный параметр, однозначно определяющий Pθ. Статистика S = S(X~ ) называется достаточной (для параметра θ),Теория оценивания 55 если условное распределение выборки относительно S — P(X~ ∈ B|S) —не зависит от параметра θ (точнее, существует вариант этого условного распределения, не зависящий от θ). Неформально это определение означает, что вся информация о параметре, содержащаяся в выборке X~ , фактически содержится уже в S(X~ ): свобода, остающаяся в выборке после фиксации значения статистики S, имеет "универсальный"характер, не имеющий отношения к θ. Можно сказать также, что достаточная статистика представляет выборочную информацию о параметре в сжатом виде, но без потерь (конечно, ее надо еще расшифровывать).

Экспоненциальное семейство – группы функций распределения и плотностей, имеющих простые достаточные статистики. В число членов экспоненциального семейства входят нормальное, экспоненциальное, релеевское, пуассоновское и многие другие известные распределения. Все они могут быть записаны в виде :

pθ(~x) = h(~x) exp{ˆθ(~x)A(θ) + B(θ)},

где A(θ) и B(θ) — какие-то функции от параметра θ, а множитель h(~x), напротив, от параметра θ не зависит.

Семейства плотностей такого вида называются экспоненциальными семействами. Таким образом, наш подход может дать эффективную оценку только для экспоненциальных семейств. Аналогично обстоит дело и в случае многомерного параметра. Мы ограничимся только аккуратным определением экспоненциальных семейств в этом случае.

Пусть θ ∈ R k — k-мерный параметр. Семейство плотностей

(в дискретном случае — вероятностей) pθ(~x) называется экспоненциальным, если допускает представление вида

pθ(~x) = h(~x) exp{U(~x) TA(θ) + B(θ)}, где U(~x) и A(θ) — вектор-функции (столбцы) со значениями в R k , U(~x) T — транспонированный вектор, h(~x) и B(θ) — функции с числовыми значениями. Подчеркнем, что размерность значений вектор-функций U и A совпадает с размерностью параметра.