Статистика

Основные понятия и теоретические сведения.

1. Статистические данные, являющиеся исходным «материалом» в задачах математической статистики, обычно являются результатом наблюдения некоторой совокупности случайных величин , характеризующей исход изучаемого эксперимента. В таких случаях говорят, что эксперимент состоит в проведении испытаний, в которых результат испытания описывается случайной величиной . В этом случае называется выборкой объема , а множество всех возможных её реализаций – выборочным пространством. Ниже будет рассматриваться ситуации, когда элементы выборки являются независимыми копиями некоторой случайной величины с распределением , т.е. в этом случае говорят кратко, что есть выборка из распределения . Статистическая модель задается классом допустимых (возможных) распределений наблюдаемой случайной величины и обычно является параметрической, т.е. когда класс допустимых функций распределения имеет вид , где - неизвестный параметр распределения; множество возможных значений называется параметрическим множеством модели. Для таких моделей распределение вероятностей на выборочном пространстве , отвечающее параметру , обозначается символом .

2. Всякая случайная величина , являющаяся функцией ишь от выборки , называется статистикой, а любая теоретическая характеристика наблюдаемой случайной величины является некоторой функцией от параметра . В статистических задачах речь идет либо об оценивании по наблюдениям той или иной параметрической функции , либо о проверке тех или иных статистических гипотез о параметре (или функции от него ).

Если для оценивания параметрической функции используется некоторая статистика , то называется оценкой (для ). Обычно в качестве меры точности оценки используют среднеквадратическую ошибку , и среди всех возможных оценок ищут такую, для которой среднеквадратическая ошибка минимальна. Часто ограничиваются лишь несмещенными оценками, т.е. такими, для которых выполняется условие несмещенности :

функция , для которой это уравнение имеет решение, называется оцениваемой.

Для несмещенных оценок , т.е. мерой точности таких оценок является дисперсия, а оптимальной оценкой является оценка с минимальной дисперсией, для нее используется обозначение . Оптимальная оценка (в заданной модели и для заданной функции ) существует не всегда, но в тех случаях, когда она существует, она единственна.

Обязательным для любого правила оценивания является свойство состоятельности, означающее сходимость по вероятности оценки к оцениваемой характеристике при неограниченном возрастании объема выборки .

3. Пусть -плотность распределения наблюдаемой случайной величины (или вероятность события – в дискретном случае) и – функция правдоподобия данных (выборки ). Если при всех , функция дважды дифференцируема по , существует второй момент

называется функцией информации (или информацией Фишера), то модель называется регулярной (большинство рассматриваемых ниже являются таковыми).

Для регулярной модели любая несмещенная оценка дифференцируемой функции удовлетворяет неравенству Рао-Крамера:

Оценка , для которой эта нижняя граница достигается называется эффективной (она и является оптимальной). В заданной модели эффективная оценка может существовать только для какой-то одной параметрической функции .

Если модель обладает полной достаточной статистикой т.е. существует статистика такая, что функция правдоподобия может быть представлена в виде

где функция не зависит от (критерий факторизации), и при этом уравнение имеет лишь решение (на множестве значений статистики ), то оптимальная не смещенная оценка для функции удовлетворяет уравнению не смещенности

Это уравнение либо имеет единственное решение, либо решений нет. В последнем случае функция не является оцениваемой. Таким образом, для полной достаточной статистики всякая функция от нее является оптимальной оценкой своего среднего.

4. Одним из наиболее универсальным методом оценивания неизвестных параметров распределений является метод максимального правдоподобия. По этому методу оценкой максимального правдоподобия (о.м.п.) по выборке , является такая точка параметрического множества , в которой функция правдоподобия достигает максимума т.е.

Для произвольной параметрической функции ее о.м.п. находится по правилу .

Для регулярных моделей оценки максимального правдоподобия обладает свойствами состоятельности, асимптотической нормальности и асимптотической эффективности : если – непрерывно дифференцируемая функция, то при

5. При доверительном оценивании функции ищут две такие статистики для которых при заданном доверительном интервале выполняется условие

Такой случайный интервал называется доверительным интервалом для .

Для больших выборок (при ) в ряде случаев удается построить приближенные доверительные интервалы, основанные на оценках максимального правдоподобия. Так если – непрерывно дифференцируемая функция, то в случае регулярной модели асимптотический доверительный интервал для имеет вид

где и ( – стандартная нормальная функция распределения). В частности, для самого параметра такой интервал есть

6. В случае параметрической модели статистические гипотезы формируются в терминах параметра , и в общем случае основная гипотеза имеет вид утверждения при некотором подмножестве , а альтернатива . При заданном уровне значимости (вероятности отвергнуть гипотезу , когда она верна) критерий проверки гипотезы задаётся выбором такого критического множества в выборочном пространстве , для которого выполняется условие

В этом случае критерий (называется критерием ) формулируется следующим образом : если – наблюдавшаяся

реализация выборки X, то при X_1α гипотезу H₀ отвергают (принимают альтернативную H₁), если же X_0α =_1α, то гипотезу H₀ принимают.

О качестве критерия X_1α судят по его функции мощности

W(X_1α; θ) = P_θ(X X_1α), θ ϴ:

вероятность ошибки первого рода равна W(X_1α; θ), θ ϴ₀, а вероятность ошибки второго рода есть 1-W(X_1α; θ), θ ϴ₁.

Критерий X называется равномерно наиболее мощным (р.н.м.), если для любого другого критерия X_1α выполняются условия:

W(X ; θ) W(X_1α; θ) при θ ϴ₀,

W(X ; θ) W(X_1α; θ) при θ ϴ₁.

Часто ограничиваются рассмотрением только несмещенных критериев, для которых выполняется дополнительное условие W(X_1α; θ) α θ ϴ₁.

В теории удобно рассматривать так называемые рандомизированные критерии, когда при наблюдении x гипотезу H₀ отвергают с некоторой вероятностью и принимают с дополнительной вероятностью 1- . Такая функция , X, называется критической; в этом случае функция мощности определяется так: W( , θ) = E_θ .

7. В основе большинства способов построения оптимальных критериев лежит фундаментальный результат (Ю. Нейман и Э. Пирсон) о существовании наиболее мощного критерия в задаче проверки простой гипотезы при простой же альтернативе.

Именно, если ϴ = {θ₀, θ₁}, то при любом уровне значимости α наиболее мощный критерий для гипотезы H₀: θ = θ₀ при альтернативе H₁: θ = θ₁ существует и задается критической областью

X = (*)

Если проверяется простая гипотеза H₀: θ = θ₀ против сложной альтернативы H₁: θ ϴ\{ θ₀}, то р.н.м. критерий существует, если критическая область X  = X (θ₀, θ₁), определенная соотношением (*), не зависит от θ₁ ϴ\{ θ₀}: в этом случае X и есть р.н.м. критерий. Такое обстоятельство имеет место для важного класса моделей F = {F(x;θ), θ ϴ}, обладающих монотонным отношением правдоподобия (т.е. таких, которые обладают достаточной статистикой T(X), и при этом функция (см. выше критерий факторизации) монотонна по T), и в случае односторонних альтернатив или (здесь θ – скалярный параметр).

Более того, для таких моделей р.н.м. критерий в задаче ( , ) является одновременно р.н.м. критерий и в задаче ( , ) при том же уровне значимости (аналогичное утверждение справедливо и для двойственной проблемы проверки против ).

В частности, для экспоненциальной модели, задаваемой плотностью

статистика достаточна, и если функция A(θ) строго монотонна, то вид р.н.м. критериев X указан в следующей таблице

A(θ) ↑
A(θ) ↓

При проверке простой гипотезы против двусторонней альтернативы используется прием объединения двух односторонних критических областей соответственно для гипотез и , т.е. используют критерий вида

X_1α = X X при α₁ + α₂ = α.

Особый интерес представляют малые отклонения от нулевой гипотезы . В этом случае при исследовании свойств критерия ограничиваются анализом локального поведения функции мощности W(θ) в окрестности точки θ₀ и строят локальный наиболее мощный критерий.

8. Одним из наиболее удивительных методов построения критериев проверки сложных параметрических гипотез является метод отношения правдоподобия. Общий вид критерия отношения правдоподобия (к.о.п.) для проверки гипотезы таков:

X_1α = X_1α ,

где граница c_α выбирается из условия

X_1α .

Во многих случаях такой подход приводит к удовлетворительным решениям. Кроме того, при некоторых условиях к.о.п. обладает свойством асимптотической оптимальности для больших выборок .