ещё пара методичек / tv_Malov

k=1

множеств нулевой меры условное математическое ожидание определено. Случайная величина E (|η||A) имеет дискретное распределение, задаваемое таблицей:

Условной дисперсией случайной величины ξ при условии σ-алгебры A называется случайная величина D (ξ | A) = E ((ξ − E (ξ | A))2 | A).

2. Покажем справедливость следующего соотношения:

D ξ = E (D (ξ | A)) + D (E (ξ | A)).

Используя линейность условного математического ожидания, а также свой• ства 1◦, 2◦ и 4◦, выводим следующую цепочку равенств:

D (ξ | A) = E ((ξ −E (ξ | A))2 | A) = E (ξ2 −2ξE (ξ | A)+(E (ξ | A))2 | A) = = E(ξ2 | A)−2 E((ξ E(ξ | A)) | A)+E(E(ξ | A))2 | A) = E(ξ2 | A)−(E(ξ | A))2.

Отметим, что величина (E (ξ | A))2 измерима относительно A. Тогда

E (D (ξ | A)) + D (E (ξ | A)) = E (E (ξ2 | A)) − E (E (ξ | A))2+ +E (E (ξ | A))2 − E (E (ξ | A))2 = E ξ2 − (E ξ)2 = D ξ.

В частности, для любых случайных величин ξ и η

D ξ = E (D (ξ | η)) + D (E (ξ | η)).

В ряде приложений важное значение имеет понятие "мартингал". Пусть ξ1, ξ2, . . . последовательность случайных величин; F1

F2 . . . поток вложенных σ-алгебр, согласованный с данной после• довательностью, т.е. величина ξk измерима относительно Fk при каждом k IN. Последовательность случайных величин ξ1, ξ2, . . . образует мартин• гал (субмартингал, супермартингал) относительно согласованного потока

31

вложенных σ-алгебр, если для любых n, k IN : k < n выполнено соотно• шение

E (ξn | Fk) = ξk(≥ ξk, ≤ ξk).

Используя свойства условного математического ожидания, нетрудно пока• зать: для того, чтобы данные равенства имели место, достаточно выполне•

ния равенств E (ξn+1 | Fn) = ξn(≥ ξn, ≤ ξn) при всех n IN. Отметим ряд очевидных свойств мартингалов.

1◦. Если (ξn, Fn)n IN мартингал (субмартингал, супермартингал), то

E ξn = E ξ1 (≥ E ξ1, ≤ E ξ1), n IN.

2◦. Если (ξn, Fn)n IN субмартингал (мартингал), то (−ξn, Fn)n IN супер• мартингал (мартингал).

Существует довольно развитая теория сходимости для мартингалов, од• нако сейчас не будем останавливаться на свойствах мартингалов более де• тально. Рассмотрим следующие задачи.

3. Пусть ξ1, ξ2, . . . последовательность независимых случайных вели•

чин таких, что E ξi = 0 при всех i IN; {Fn} : Fn = σ(ξ1, ξ2, . . . , ξn) естественный поток σ-алгебр. Определим последовательность частичных

k

сумм {Sk} : Sk = ξi, k IN. Вычисляем условное математическое ожи•

i=k+1

Очевидно, что Sk измерима относительно Fk при всех k IN. Независи•

мость элементов исходной последовательности влечет независимость слу•

n

чайной величины P ξi и σ-алгебры Fk. Используя свойства 2◦ и 3◦ услов•

i=k+1

ного математического ожидания, выводим соотношения:

Следовательно, (Sk, Fk) образуют мартингал.

4. Предположим, что F1, F2, . . . поток вложенных σ-алгебр, ξ некото• рая случайная величина такая, что E |ξ| < ∞. Рассмотрим последователь• ность условных математических ожиданий {ηk} : ηk = E (ξ | Fk), k IN. Вычисляем при n > k:

E (ηn | Fk) = E (E (ξ | Fn) | Fk).

Используя свойство 5◦, получаем, что

E (ηn | Fk) = E (ξ | Fk) = ηk.

Таким образом, последовательность величин {ηk}k IN образуют мартингал с исходным потоком σ-алгебр.

32

В следующей задаче приводится пример так называемого обратного мар• тингала последовательности случайных величин с отрицательными ин• дексами, которая образует мартингал с некоторым потоком σ-алгебр. Помимо свойств условного математического ожидания используется также перестановочность элементов.

5. Рассмотрим последовательность независимых одинаково распределен• ных случайных величин ξ1, ξ2, . . . таких, что E |ξ1| < ∞. Как и в задаче 3 (с. 32), рассмотрим последовательность частичных сумм {Sk}k IN и введем новую последовательность случайных величин {η−n} : η−n = Sn/n и по•

ток σ-алгебр {F−n} : F−n = σ(Sn, Sn+1, . . .), n IN, где σ(Sn, Sn+1, . . .)

σ-алгебра, порожденная величинами Sn, Sn+1, . . .. Поскольку суммы Sn, Sn+1, . . . не зависят от порядка суммирования первых n слагаемых и совместное распределение ξ1, ξ2, . . . симметрично (т.е. не меняется при пе• рестановке компонент),

для любого события A F−n при каждом k {2, 3, . . . , n}, n IN. При• нимая во внимание единственность условного математического ожидания, заключаем, что

XX

Следовательно, η−n = E (ξ1 | F−n). Используя свойство 5◦ условного мате• матического ожидания, получаем следующие соотношения:

E (η−n | F−k) = E (E (ξ1 | F−n) | F−k) = E (ξ1 | F−k) = η−k

при каждом k ≥ n, n IN. Таким образом, последовательность {η−n}n IN образует мартингал с потоком σ-алгебр {F−n}n IN.

Далее следует задача на вычисление условного математического ожида• ния через интеграл по условной плотности.

6. В задачах математической статистики часто используется отношение правдоподобия, определяемое равенством

qn(ξ1, ξ2, . . . , ξn) , pn(ξ1, ξ2, . . . , ξn)

где {pn}n IN и {qn}n IN две последовательности согласованных плотностей распределения относительно доминирующей меры Q, т.е.

∞

Z

pn(x1, x2, . . . , xn) = pn+1(x1, x2, . . . , xn+1) Q(dxn+1),

−∞

∞

Z

qn(x1, x2, . . . , xn) = qn+1(x1, x2, . . . , xn+1) Q(dxn+1).

−∞

33

В этом случае вектор m¯ является вектором математических ожиданий исходной системы случайных величин (E ξk = mk, k {1, 2, . . . , n}), а матрица R представляет собой матрицу ее ковариации (cov(ξi, ξj) = ri,j, i, j {1, 2, . . . , n}). Нетрудно видеть, что распределение нормального век• тора однозначно определяется вектором математических ожиданий m¯ и ковариационной матрицей R.

Плотность распределения невырожденного нормального вектора с век• тором математических ожиданий m¯ и матрицей ковариации R имеет вид:

Следует отметить, что не любой случайный вектор с нормально распреде• ленными компонентами является нормальным. Это иллюстрирует следую• щая задача.

1. Пусть случайная величина ξ имеет стандартное нормальное распределение (см. задачу 4, с. 12), а величина η определяется соотношением:

Нетрудно видеть, что P(η <a, b>) = P(ξ <a, b>), если <a, b> [−1, 1], и P(η < a, b >) = P(ξ < −b, −a >), если < a, b > ∩ [−1, 1] = . В силу симметричности величины ξ получаем соотношение P(ξ < −b, −a >) = = P(ξ < a, b >). Следовательно, величина η также имеет стандартное нормальное распределение. В то же время,

Поскольку |ξ + η| ≤ 1 с вероятностью 1, величина ξ + η не может иметь нормальное распределение, а это значит, что совместное распределение ξ и η не является нормальным.

Пусть ξ случайный вектор с вектором математических ожиданий m¯ и

¯

ковариационной матрицей R. Тогда η¯ = ξC, где C матрица некоторого линейного преобразования, имеет вектор математических ожиданий m¯ C и ковариационную матрицу CТRC. Известно, что сдвиг и линейное пре• образование переводят нормальный вектор в нормальный вектор. Таким образом, можно рассмотреть аффинное пространство случайных величин,

¯

получающихся из элементов исходного вектора ξ при сдвигах и линейных преобразованиях, и все они имеют нормальное распределение. Более то• го, если рассмотреть совместное распределение любых k векторов данного пространства, то оно будет нормальным. Поскольку ковариационные ха• рактеристики (коэффициенты корреляции и дисперсии) не меняются при

35

¯

и ξ одинаковы. Размерность линейного пространства случайных векторов, получающихся, как всевозможные линейные комбинации элементов векто•

¯−

ра ξ m¯ , равна рангу соответствующей матрицы ковариации. Предположим, что случайный вектор η¯ получается из невырожденного

¯ ¯

нормального вектора ξ линейным преобразованием η¯ = ξC, где C неко• торая неособенная матрица n×n. В этом случае, плотности распределений

¯

случайных векторов ξ и η¯ связаны соотношением

pη¯(¯x) = 1 p¯(¯xC−1), x¯ IRn,

|C| ξ

где |C| определитель матрицы C (якобиан преобразования). Таким обра• зом, если исходный случайный вектор ξ имеет нормальное распределение с нулевым средним и матрицей ковариации R, то плотность распределения вектора η¯ имеет вид

Известно, что для любой симметричной положительно определенной матрицы A существует ортогональная матрица C такая, что CACТ диагональная матрица. Следовательно, для любого нормального вектора

¯

ξ существует линейное ортогональное преобразование с матрицей C такое,

¯

что случайный вектор η¯ = ξC имеет независимые компоненты. Плотность распределения полученной случайной величины при всех y1, y2, . . . , yn IR задается следующим соотношением:

pη(y1, y2, . . . , yn) = a при различных a > 0 представляет собой множество эллипсоидов размерности n с определенным соотношением между полуося• ми. Следует отметить, что соотношение между полуосями данного эллипсо• ида сохраняется при ортогональном преобразовании. В двухмерном случае мы получаем эллипс рассеяния.

36

Процедура нахождения вектора математических ожиданий для нор• мальных плотностей больших размерностей заключается в последователь• ном выделении полных квадратов, как это делалось в двухмерном случае. Для нахождения матрицы ковариации достаточно обратить матрицу соот•

(ξr+1, ξr+2, . . . , ξn). Математические ожидания векторов ξ¯1 и ξ¯2 равны, соот•

ветственно, m¯ 1 = (m1, m2, . . . , mr) и m¯ 2 = (mr+1, mr+2, . . . , mn), а матрица ковариации может быть записана в следующем виде:

а матрицы R1,2 = RТ2,1 содержат ковариации элементов вектора ξ¯1 с элемен•

тами вектора ξ¯2. Тогда условное распределение ξ¯2 при условии {ξ¯1 = x¯1}, где x¯1 = (x1, x2, . . . , xr), x1, x2, . . . , xr IR, является нормальным с векто• ром математических ожиданий m¯ 2 + (¯x1 − m¯ 1)R−1,11Rт2,1 и ковариационной матрицей R2,2 − R2,1R−1,11R1,2.

3.Предположим, что величины ξ1, ξ2, ξ3 имеют нормальное распреде•

38

Следовательно, E (ξ3 | σ(ξ1, ξ2)) = ξ1 + ξ2.

Задачи для самостоятельного решения

4. Вычислить параметры двухмерного нормального распределения с плотностью pξ1,ξ2(x, y) = c exp(−12q(x, y) и построить преобразование, при•

водящее исходный случайный вектор к независимым компонентам, с ис• пользованием которого посчитать распределение величины G(ξ, η):

д) q(x, y) = 2x2 + 4xy + 4y2 + 8x + 4y + 10.

5. Построить ортогональное преобразование, приводящее центрирован• ный нормальный вектор с матрицей ковариации R к независимым компо•

Вычислить E (ξ3 | σ(ξ2, ξ2)) и E (ξ2, ξ3 | σ(ξ1)).

Список литературы

Рекомендуемая литература

Боровков А.А. Теория вероятностей. 2-е изд. М.: Наука, 1986. Гнеденко Б.В. Курс теории вероятностей. М.: Наука, 1988.

Феллер В. Введение в теорию вероятностей и ее приложения. Т.2. М.: Мир, 1984.

Дополнительная литература

Лоэв М. Теория вероятностей. М.: Иностр. лит., 1962.

Рао С.Р. Линейные статистические методы и их примене• ние. М.: Наука, 1965.

Ширяев А.Н. Вероятность. – М.: Наука, 1980.

39