Posit1nov (1)

Примерами таких преобразований являются операторы дифференцирования и интегрирования:

На практике часто встречаются с подобными преобразованиями случайных процессов, поэтому определим понятия производной и интеграла от случайной функции.

Определение 8.8 Случайную величину X′(t) будем называть производной от случайной величины X(t) в точке t, если

Определение 8.9 Интегралом от случайной функции X(t) будем называть пре-

дел интегральных сумм

где интегральная сумма составляется по правилам, принятым в анализе.

Таким образом, можно рассматривать линейные операторы

Zt1 Zt2 2

KY1 (t1, t2) = Kx(τ1, τ2)dτ1dτ2, KY2 (t1, t2) = ∂ Kx(t1, t2) .

00

Впрактических приложениях операторы называемые функциями времени обычно называют динамическими системами. Тогда в записи Y = LX оператор L будем называть динамической системой, X - сигналом, поступающим на ее вход, а Y -

выходом системы.

73

Пример 8.7 Пусть Y = dX(t)/dt. На вход этой системы поступает стационарный случайный процесс X(t) с математическим ожиданием mx(t) = sin t и корреляционной функцией Kx(τ ) = De−ατ 2 , где τ = t2 − t1. Найти математиче-

ское ожидание и дисперсию на выходе системы.

Решение. my (t) = sin′ t = cos t,

ции, V1, ..., Vn – некоррелированные случайные величины с нулевыми математи-

ческими ожиданиями, то её корреляционная функция находится совсем просто: так как Kij = 0, получим

Kx(t1, t2) = E(X (t1)· X (t2)) = E( ViVj ϕi(t1)ϕj (t2)) =

Если функция вида (8.2) поступает на вход линейной динамической системы, то

K

X

Y (t) = L(X(t)) = L(mx(t)) + ViL(ϕi(t)),

i=1

то есть на выходе имеем функцию того же вида, что и X(t) c математическим ожиданием my (t) = L(mx(t)).

Представление типа (8.2) называется каноническим разложением X(t).

8.6Спектральное разложение стационарной случайной функции.

Если стационарная случайная функция X(t), заданная на конечном промежутке [0, T ], имеет каноническое разложение вида

∞

X

X(t) = mx(t) + (UK cos ωK t + VK sin ωK t),

K=1

74

где UK , VK – некоррелированные случайные величины с нулевым математическим ожиданием, причем D(UK ) = D(VK ) = DK , то её корреляционная функция может

быть представлена в виде ряда Фурье

∞

X

Kx(τ ) = DK cos ωK τ, ωK = Kπ/T.

K=0

Аналогично, если стационарная функция X(t) задана на бесконечном промежут-

ке, то рассматривают преобразование Фурье её корреляционной функции, которое называют спектральной плотностью стационарного случайного процесса.

Определение 8.10 Спектральной плотностью стационарного случайного процесса называется преобразование Фурье её корреляционной функции.

Обозначается спектральная плотность через Sx(ω). Тогда

Используя свойства преобразования Фурье, получим, что спектральная плотность производной X′(t) связана с Sx(ω) формулой

Sx′ (ω) = ω2Sx(ω).

Пользуясь этим и другими свойствами этого преобразования, можно находить характеристики на выходе динамической системы, зная характеристики входного процесса.

Пример 8.8 Пусть стационарные случайные процессы X(t) и Y (t) связаны соот-

ношением

a0X′ + a1X = Y,

причем известна корреляционная функция процесса Y (t). Найти корреляционную функцию X(t).

Можно доказать, что в условиях задачи

a21Kx′ (τ ) + a20Kx(τ ) = Ky (τ ).

Тогда для спектральных плотностей будет выполнено

Пользуясь обратным преобразованием Фурье, можно найти корреляционную функцию X(t)

79

Часть II

Математическая статистика

9Введение

Задачи математической статистики в определенном смысле обратны задачам теории вероятностей. Теория вероятностей на основе вероятностной модели позволяет предсказывать (прогнозировать) различные характеристики случайных явлений (получать их вероятностное описание), в то время как математическая статистика на основе наблюдения случайных явлений строит или уточняет их вероятностную модель. В практических задачах методы теории вероятностей и математической статистики тесно взаимодействуют и дополняют друг друга.

В математической статистике вероятностная модель строится на базе экспериментальных данных, то есть наборе наблюдений реализаций случайных событий, случайных величин, векторов или процессов, а также на некоторых первоначальных предположениях (обычно достаточно общего характера) о виде этой модели.

Производится сбор экспериментальных данных, которые рассматриваются как реализация случайного вектора X(n) = (X1, ..., Xn), а величины Xi обычно рассматриваются как независимые реализации изучаемой случайной величины X. На осно-

ве этих данных с помощью методов математической статистики изучаются распределения случайной величины X: оценивается функция или плотность распределе-

ния, различные числовые характеристики или параметры, проверяются различные предположения (гипотезы) об этих характеристиках.

Принципиальная возможность решения таких задач основана на предельных теоремах теории вероятностей. Например, при росте числа наблюдений в предположении их независимости эмпирическая частота события (то есть доля наблюдений, в которых случайное событие реализуется) стремится к его вероятности, а выборочное среднее (среднее арифметическое значений случайных величин или векторов) стремится к математическому ожиданию. Разработка и исследование математических методов и алгоритмов (статистических процедур) решения подобных задач составляют предмет математической статистики.

10 Cтатистические модели

10.1Вероятностные и статистические модели

Статистическая модель – это описание информации, на основе которой решается та или иная задача математической статистики. Статистическую модель составляют две части:

1) экспериментальная (опытная) информация – данные, полученные в результате проведенного эксперимента (опыта). Эти данные представляют собой элемент X некоторого множества X и рассматриваются как реализация случайного эксперимента. Множество X может быть произвольной природы;

80

2) априорная (имеющаяся до проведения эксперимента) информация – это информация о характере "случайности"эксперимента.

Приведем общие определения, которые поясним более подробно далее.

Втеории вероятностей для описания случайности эксперимента (вероятностной модели) используется понятие вероятностного пространства. Напомним, что

вероятностное пространство – это тройка объектов (X, A, P ). Здесь X = {X} –

это множество возможных результатов случайного эксперимента (оно обычно называется множеством элементарных исходов). Множество A представляет собой σ- алгебру подмножеств множества элементарных исходов. Пару объектов (X, A) называют измеримым пространством. Наконец, P есть вероятностная мера (распре-

деление вероятностей, закон распределения вероятностей), то есть числовая функция P (A), заданная на множестве A со значениями в интервале [0, 1], обладающая свойством счетной аддитивности и нормированности: P (X) = 1.

Встатистической модели информация о случайности эксперимента также характеризуется измеримым пространством (X, A). Однако в отличие от вероятност-

ной модели вероятностная мера (распределение вероятностей) неизвестна. Вместо

этого задано некоторое множество P = {P } вероятностных мер, включающее в себя неизвестную меру P .

Обычно результаты эксперимента есть набор числовых данных: X = X(n) = (X1, ..., Xn) , Xi R1, где R1 – множество вещественных чисел. При этом X(n) можно рассматривать как n-мерный вектор, а множество X = Xn – как некоторое подмножество n-мерного векторного пространства Rn.

Часто распределение вероятностей P = Pθ задано с точностью до некоторого параметра θ Θ L, где Θ = {θ} – допустимое множество параметров, причем различным значениям параметра θ соответствуют различные распределения вероятностей Pθ. Параметр θ может быть числом: θ R1 = L, вектором: θ = (θ1, ..., θm) Rm = L или функцией: θ = θ(t), t T ; L – некоторое множество функций на множестве T . В этом случае статистический эксперимент (Rn, Bn, P)

полностью характеризуется множеством функций распределения

{Fθ(n)(t1, ..., tn) = Pθ(X1 < t1, ..., Xn < tn)), θ Θ}.

В статистике важно измерять близость (расстояние) между различными значениями параметров, а также между значениями параметров и их различными оценками. Если параметр θ – число, близость значений θ и θ0 измеряют абсолютным отклонением |θ − θ0|.

В случае векторных и функциональных параметров нужно задать меру близо-

ее называют также статистическим экспериментом или статистической структурой).

Другими словами, статистическая модель – это описание законов распределения Pθ случайных экспериментальных данных, заданное с точностью до неизвестного параметра θ Θ, причем информацию о параметре θ нужно получить на основе наблюдаемых результатов случайного эксперимента x X.

81

Пусть Θ Rk есть k-мерное множество. В этом случае статистическая мо-

дель называетсконечномерной (употребляют также термин параметрическая статистическая модель). Если (X, A) = (Rn, Bn), то параметрическая статистическая

модель полностью характеризуется параметрическим множеством функций распределения {Fθ(n)(t1, ..., tn), θ Θ}. Если θ Θ есть функциональный параметр и Θ есть бесконечномерное функциональное множество, то говорят о бесконечно-

мерной статистической модели (употребляют также термин непараметрическая статистическая модель).

Различные статистические процедуры должны быть выражены через некоторые функции от наблюдаемых данных. Чтобы можно было изучать вероятностные характеристики статистических процедур, эти функции должны быть измеримыми 1. Измеримая функция (X), X X, называется статистикой. Аналогично определяется векторная статистика (со значениями в Rn) и статистика со значениями в Θ. В дальнейшем мы не будем оговаривать требование измеримости,

предполагая все рассматриваемые функции измеримыми.

С точки зрения теории вероятностей статистика – это случайная величина; для нее определены вероятности PT (B) = P (T (x) B), в частности функция распределения FT (t) = P (T < t), где P – заданная вероятностная мера, а также различные числовые характеристики, например математическое ожидание E(T ). С точки зре-

ния математической статистики эти вероятности и числовые характеристики есть функции от неизвестного параметра θ Θ : FT,θ(t) = Pθ(T < t), Eθ(T ), поэтому их

значения неизвестны.

Точность статистических результатов возрастает с ростом объема наблюдаемых данных, и достаточно хорошие результаты можно получить при достаточно большом объеме экспериментальных данных. Поэтому в математической статистике широко распространен асимптотический подход. В рамках этого подхода конкретная статистическая модель рассматривается как элемент последовательности статистических моделей (Xn, An, Pn = {Pθ, θ Θ}), n → ∞. Увеличение n соответствует росту объема информации о наблюдаемых данных. Множество Θ неизвестных значений параметра обычно не зависит от n.

При асимптотическом подходе изучаются предельные свойства различных статистических процедур при n → ∞. Математическая статистика имеет дело с раз-

личными статистическими моделями. Мы остановимся на одной из самых простых и стандартных моделей.

10.2Модель независимой однородной выборки c неизвестной функцией распределения

Важнейшим случаем статистической модели является модель независимой однородной выборки. В этом случае результат эксперимента рассматривается как реализация n независимых значений X(n) = (X1, ..., Xn), случайной величины X c

1Напомним, что числовая функция (X ) от наблюдаемых данных X X называется измеримой, если прообразы всех подмножеств B(t) = (−∞, t); t R1 измеримы: A(t) = {X : (X ) B(t)} A; в этом случае и прообразы всех борелевских множеств измеримы.

82

общей функцией распределения

FXi (t) = FX (t) = F (t), F (t) = F F, t R1,

где F есть некоторое множество функций распределения.

Случайную величину X иногда называют генеральной совокупностью, а набор измерений X(n) = (X1, ..., Xn) – выборкой из генеральной совокупности X с неизвестной функцией распределения F F. Набор данных можно рассматривать как реализацию случайного вектора X(n) с функцией распределения

F (n)(t1, ..., tn) = F (t1) × .... × F (tn), F F, t Rk .

Множество F может быть, например, множеством всех функций распределения,

множеством функций распределения, имеющих моменты заданного порядка и т.д. Если все функции распределения F F непрерывны и имеют плотности распределения f = f (t) , то в качестве функционального параметра может рассматриваться плотность распределения, а может быть множеством непрерывных

плотностей распределения, множеством плотностей распределения, имеющих ограниченные производные заданного порядка и т.д.

При n → ∞ мы имеем последовательность статистических моделей незави-

симой однородной выборки.

В рамках модели независимой однородной выборки рассматриваются различные задачи, связанные с получением по выборке той или иной информации о неизвестной функции распределения, а также о различных вероятностных характеристиках gX = g(FX ) генеральной совокупности X, то есть о характеристиках g(F ) неизвестной функции распределения FX = F F.

10.3Важнейшие параметрические семейства

Часто закон распределения Pθ генеральной совокупности (то есть функция распределения F (t) или плотность распределения f (t)) лежат в заданном конечнопараметрическом семействе: F (t) = F (t, θ) или f (t) = f (t, θ), θ Θ. В этом случае мы часто будем использовать обозначения: X Pθ, X F (t, θ) или X f (t, θ). Тогда

последовательность статистических моделей является конечнопараметрической:

F (n)(t1, ..., tn; θ) = F (t1, θ) × .... × F (tn, θ);

f (n)(t1, ..., tn; θ) = f (t1, θ) × .... × f (tn, θ), θ Θ.

Приведем наиболее важные примеры.

10.3.1Семейство бернуллиевских распределений

Это семейство Bp, p (0, 1) соответствует дискретной случайной величине X с двумя возможными значениями 0 и 1, причем P (X = 1) = p, P (X = 0) = 1−p. Если A A – случайное событие и p = P (A) – его вероятность, то индикаторная функция

X= 1IA события A, принимающая значение X = 1 в случае успеха - появления события A или значение X = 0 при неудаче испытания, имеет распределение Bp :

XBp.

Для бернуллиевской случайной величины Ep(X) = p, Dp(X) = p(1 − p).

83

10.3.2Семейство биномиальных распределений

Это семейство Bpn, где p (0, 1), n ≥ 1 – натуральное число, соответствует дискретной случайной величине X с возможными значениями 0, 1, ..., n, причем

P (X = k) = Cnk pk(1 − p)n−k, k = 0, 1, ..., n, p (0, 1).

Если A A – случайное событие и p = P (A) – его вероятность, a X – число успехов в серии из n независимых испытаний, в котором регистрируется событие A,

Для биномиальной случайной величины

En,p(X) = np, Dn,p(X) = np(1 − p).

10.3.3Семейство показательных распределений

Cемейство Expλ, λ > 0, соответствует непрерывной случайной величине X ≥ 0, функция распределения F (t, λ) и плотность распределения f (t, λ) которой имеют

Часто показательное распределение удобно характеризовать параметром u = 1/λ; в этом случае будем использовать обозначение Expu. Для показательного рас-

пределения

Eλ(X) = 1/λ = u, Dλ(X) = 1/λ2 = u2.

10.3.4Семейство нормальных (гауссовских) распределений

Нормальные распределения N (a, d), a R1, d = σ2 > 0, характеризуются плотностью распределения f (t; a, d) и функцией распределения F (t; a, d):

Функция Φ(t) есть функция распределения стандартного нормального закона

N (0, 1). Стандартная нормальная случайная величина X N (0, 1) симметрична, то есть Φ(−t) = 1−Φ(t). Для нормальной случайной величины X N (a, d) среднее и дисперсия есть Ea,d(X) = a, Da,d(X) = d; отметим также, что

84

11 Задачи математической статистики

Задачи, которые изучает математическая статистика, состоят в том, чтобы по данным наблюдений X X на основе статистической модели получить ту или иную информацию о законе распределения P = Pθ наблюдаемых данных. Основные ста-

тистические задачи – это задачи оценивания и доверительного оценивания параметров и различных характеристик неизвестного распределения, а также задачи проверки различных статистических гипотез о неизвестном распределении.

11.1Задачи оценивания

11.1.1Задача оценивания параметра

Естественно попытаться восстановить (оценить) распределение P , порождающее

экспериментальные данные, по результатам наблюдений. Поскольку это распределение P = Pθ полностью характеризуется значением параметра θ Θ, эта задача

сводится к задаче построения оценок неизвестного параметра распределения.

жестве Θ . Таким образом, оценка есть способ (алгоритм) построения некоторых

ˆ X

значений θ(X) для любых конкретных реализаций данных наблюдений X .

ˆ

Задача оценивания параметра состоит в построении оценок θ, достаточно близких к неизвестному значению параметра θ Θ.

Желательно построить наилучшие в том или ином смысле оценки и изучить различные характеристики их качества. При асимптотическом подходе изучаются

ˆ ˆ X →

предельные свойства последовательностей оценок θn = θn(Xn), Xn n, при n

∞.

11.1.2Задача оценивания числовых характеристик

В случае многомерного или бесконечномермого параметра θ Θ вида θ = (θп, θм), θп Θп, θм Θм, часто требуется оценить лишь часть его компонент g(θ) = θп Θп. Параметр θп Θп обычно называют полезным, а параметр θм Θм – мешающим. Например, при измерении неизвестного параметра a со случайными ошибками ξ N (0, σ) при неизвестном σ > 0 модель характеризуется параметром θ = (a, σ), a R1, σ R+1 ; здесь a = θп – полезный, а σ = θм –

мешающий параметр.

Во многих задачах требуется оценить лишь некоторый набор числовых характеристик g(P ) распределения данных P = Pθ (например среднее значение, дисперсию и т.д.). Такие характеристики можно рассматривать как функции g(θ), θ Θ, неизвестного параметра, принимающие значения в некоторой области G.

Обе эти задачи связаны с частичным восстановлением вероятностной модели и называются задачами оценки характеристик распределения.

Оценкой характеристики g(θ), θ Θ, называется статистика gˆ = gˆ(X) со значениями в множестве G.

Задача оценивания характеристики состоит в построении оценок gˆ, достаточно близких к неизвестному значению g(θ). При асимптотическом подходе изучаются

85

предельные свойства последовательностей оценок gˆn = gˆn(Xn), Xn Xn, приn →

∞.

11.1.3Функция потерь и функция риска

Формально задача оценивания характеристик содержит в себе задачу оценивания параметра при g(θ) = θ. Поэтому основные определения приведем для задачи оце-

нивания характеристик распределения.

Близость оценки gˆ к значению g(θ) измеряется случайной величиной kgˆ −g(θ)k, где k·k – выбранная норма (длина вектора) в пространстве параметров. Чтобы ко-

личественно измерять качество оценок, вводятся понятия функции потерь и функции риска оценки. Функция потерь l(ˆg, g(θ)) – это неотрицательная функция, характеризующая потери при использовании оценки gˆ для случая, когда истинное значение параметра есть θ. Функция риска оценки есть математическое ожидание потерь: R(ˆg, θ) = Eθ(l(ˆg, g(θ))).

Функция потерь обычно имеет вид l(ˆg, g(θ)) = w(kgˆ −g(θ)k), где w(t) – неубывающая числовая функция неотрицательного аргумента t, w(0) = 0. Функция потерь l(ˆg, g(θ)) оценки gˆ при заданном θ есть случайная величина, а риск R(ˆg, θ) оценки

ˆ

есть функция от параметра θ Θ и оценки (способа оценивания) θ. Наибольший

интерес обычно представляют два типа функций риска, соответствующие двум видам функций потерь.

1. Вероятности отклонений. Пусть функция потерь w(t) = 1Iδ (t) есть функция, равная 0 при |t| < δ и равная 1 при |t| ≥ δ. Тогда функция риска есть вероятность получить отклонение оценки gˆ от оцениваемого параметра g(θ) не меньше,

чем δ:

Rδ (ˆg, θ) = Eθw(kgˆ − g(θ)k) = Pθ(kgˆ − g(θ)k ≥ δ}.

При асимптотическом подходе последовательность оценок gˆn = gˆn(Xn), Xn Xn называется состоятельной, если для любого δ > 0

Rδ (ˆgn, θ) = Pn,θ(kgˆn − g(θ))k ≥ δ) → 0 при n → ∞.

2. Квадратичный риск соответствует квадратичной функции потерь w(t) = t2, l(ˆg, g(θ)) = kgˆ − g(θ)k2 и имеет вид

R2(ˆg, θ) = Eθ(kgˆ − g(θ)k2).

Теорема 11.1 Справедливо неравенство, связывающее квадратичный риск и ве-

роятности отклонений:

Rδ (ˆg, θ) ≤ R2(ˆg, θ)/δ2.

Доказательство.

Используя неравенство Маркова P (|X| ≥ t) ≤ E(|X|)/t, t > 0, получим:

Pθ(kgˆ − g(θ)k ≥ δ) = Pθ(kgˆ − g(θ)k2 ≥ δ2) ≤ Eθ(kgˆ − g(θ)k2)/δ2.

При асимптотическом подходе отсюда следует, что для состоятельности последовательности оценок gˆn достаточно выполнения соотношения R2(ˆgn, θ) → 0 при n → ∞.

86