ещё пара методичек / tv_Malov

Министерство общего и профессионального образования РФ

Санкт-Петербургский государственный электротехнический университет

СПЕЦИАЛЬНЫЕ ГЛАВЫ ТЕОРИИ

ВЕРОЯТНОСТЕЙ

Методические указания

кпрактическим занятиям

ииндивидуальным домашним заданиям по теории вероятностей

Санкт-Петербург 1997

УДК 519.21 Специальные главы теории вероятностей: Методические указания к

практическим занятиям и индивидуальным домашним заданиям по теории вероятностей / Сост.: В.А. Егоров, С.В. Малов, И.В. Соколова; Под ред. Б.А. Лифшица; ГЭТУ. С.-Пб., 1997. 40 с.

Разобраны задачи, связанные с совместными распределениями случай• ных величин, условными математическими ожиданиями и вероятностями. Приведены основные методы, позволяющие решать задачи без использова• ния дополнительной литературы.

Предназначены для поддержки курса теории вероятностей и математи• ческой статистики, читаемого для студентов ФАВТ, РТФ, а также могут быть полезны студентам других факультетов, как для аудиторной, так и для самостоятельной работы в области теории вероятностей и математиче• ской статистики, а также для изучения литературы, связанной с некоторы• ми бурно развивающимися приложениями теории вероятностей, в частно• сти, со стохастической финансовой математикой и др.

Утверждено редакционно-издательским советом университета

в качестве методических указаний

c C.-Пб. ГЭТУ, 1997

Введение

В данных методических указаниях рассматриваются методы решения ряда задач, связанных с распределениями случайных векторов и функций от них, условными распределениями и условными математическими ожи• даниями. Данные понятия находят все более широкое применение в таких приложениях вероятностной науки, как стохастическая финансовая мате• матика, математическая статистика, и др. Написание данных методических указаний продиктовано потребностями курсов математической статистики и теории случайных процессов, читаемых на ФАВТ, а также тем, что эти разделы мало представлены в учебно-методической литературе.

Предполагается, что читатель знаком с элементарными понятиями ма• тематического анализа, линейной алгебры и теории вероятностей.

Отправным пунктом исследования эксперимента является построение модели, с помощью которой можно делать предположения о тех или иных свойствах результата данного эксперимента. Модель может быть построе• на неоднозначно. При этом неверный выбор может привести к неверным результатам. При выборе излишне сложной модели задача может стать неразрешимой, а сильное ее упрощение привести к ошибкам, которые сведут на нет всю работу исследователя. Поэтому выбор оптимальной веро• ятностной модели является первоочередной задачей исследователя. Доак• сиоматические построения теории вероятностей существовали с XVII века. Они представляли собой разрозненные модели, способные решать довольно небольшой круг задач. Примерами таких моделей могут служить класси• ческая и геометрическая схемы. Чтобы связать отдельные схемы в единую теорию в начале XX века появилась универсальная вероятностная модель, в основу которой была положена система аксиом теории вероятностей Кол• могорова, основные положения которой напоминаются в разд. 1.

1. Некоторые предварительные замечания

Построение модели предполагает идеализацию реального процесса. Предположим, что результатом эксперимента является некоторая точка множества Ω, которое будем называть множеством элементарных исхо• дов. Подмножества данного множества будем называть событиями. Будем считать, что событие A произошло, если исход эксперимента принадлежит данному множеству. Таким образом, объединение событий заключается в выполнении хотя бы одного из них, пересечение в одновременном вы• полнении всех этих событий, а дополнение события (противоположное со• бытие) заключается в том, что рассматриваемое событие не произошло. При этом следует отметить, что необязательно каждое подмножество мно• жества Ω должно быть событием, но предполагается, что объединение и пересечение любого конечного или счетного числа событий событие и до• полнение события событие. Кроме того, пустое множество и множество Ω

3

являются событиями. Тогда множество всех событий F является σ-алгеброй (сигма-алгеброй), которую будем называть σ-алгеброй событий.

Например, при моделировании на компьютере бросания правильной мо• неты можно использовать датчик случайных чисел, генерирующий случай• ные точки интервала [0, 1]. Если точка попадет в правую половину интер• вала, то будем считать, что выпал герб, а в противном случае решет• ка. Особенно это удобно, если мы предполагаем смоделировать несколько бросаний монеты. При повторном бросании считаем, что выпал герб, если датчик выдал точку из четной четверти интервала, и.т.д. В данной модели множество элементарных исходов совпадает с интервалом [0, 1] (каждой точке a [0, 1] соответствует утверждение вида: "Датчик выдал значение a"). При этом σ-алгебра событий состоит из четырех множеств: , [0, 1/2), [1/2, 1], а также [0, 1]. Отметим, что отдельные элементарные исходы не являются событиями.

На σ-алгебре событий задается счетно-аддитивная функция множеств P : F → [0, 1], называемая вероятностной мерой. Вероятностная мера должна удовлетворять следующим аксиомам.

1.Любое событие A F имеет вероятность число, лежащее в интервале [0, 1].

2. P( ) = 0, P(Ω) = 1.

3.Для любых собыий A, B F таких, что A ∩ B = , имеет место соотношение P(A B) = P(A) + P(B).

4.Для любой последовательности событий A1, A2, . . . F та•

ких, что Ai ∩ Aj = при i 6= j, выполнено равенство

∞

P

P(A1 A2 . . .) = = P(Ak).

k=1

Независимость и условные вероятности. События A и B называ• ются независимыми, если выполняется равенство P(AB) = P(A)P(B). События A1, A2, . . . , An называются независимыми в совокупности, если

соотношения P(Ai1 Ai2 . . . Aik ) = P(Ai1 )P(Ai2 ) · . . . · P(Aik ) имеют место для любого сочетания индексов: 1 ≤ i1 < i2 < . . . < ik ≤ n при каждом

k = 2, 3, . . . , n.

Отметим, что для независимости событий A1, A2, . . . , An, вооб• ще говоря, недостаточно выполнения равенства P(A1A2 . . . An) = P(A1)× ×P(A2) · . . . · P(An). Например, если одно из рассматриваемых событий невозможно, то данное равенство выполнено, но это не гарантирует вы• полнения всех остальных соотношений, характеризующих независимость

A1, A2, . . . , An.

Условной вероятностью события A при условии, что событие B произо• шло (P(B) > 0), называется вероятность P(A | B), задаваемая соотноше• нием P(A | B) = P(AB)/P(A).

Определяя условные вероятности событий при условии некоторого со• бытия B, мы рассматриваем их вероятности на новом вероятностном про•

4

странстве с мерой P0, пропорциональной исходной мере P на измеримых подмножествах множества B и тождественно равной нулю на измеримых подмножествах, не пересекающих B. Условная вероятность P0(A) часто может быть получена непосредственно в силу соображений симметрии и др. или задана в условии задачи как вероятность A при условии, что со• бытие B произошло. Отметим, что если события A и B независимы, то

P(A | B) = P(A) и P(B | A) = P(B). Рассмотрим следующую задачу.

1. Из колоды 52 карты вытаскивается одна. Рассматриваются события: A − {вытащенная карта туз}, B − {вытащенная карта бубновая}. С использованием классической схемы нетрудно показать, что P(AB) = = 1/52 = 1/13 · 1/4 = P(A)P(B). Таким образом, события A и B неза•

висимы. Отметим, что если добавить в исходную колоду два джокера, то

P(AB) = 1/54, а P(A)P(B) = 272 1354 = 72913 , и события A и B будут зави• симыми.

Следующая задача иллюстрирует, что попарно независимые события не всегда являются независимыми в совокупности.

2. Бросаются две правильные монеты. Рассматриваются события:

A−{на 1-й монете выпал герб}; B −{на 2-й монете выпала решетка}; C − {выпали один герб и одна решетка}.

Нетрудно показать, что события в парах A и B, A и C, B и C являются независимыми, однако P(ABC) = 1/4 6= P(A)P(B)P(C).

Если достоверное событие Ω разбито на конечное или счетное число непересекающихся событий H1, H2, . . . , то вероятность каждого события может быть вычислена с помощью формулы полной вероятности:

n

X

P(A) = P(AH1) + P(AH2) + . . . + P(AHn) = P(A | Hi)P(Hi).

i=1

С использованием данной формулы и определения условной вероятно• сти получается формула Байеса, связывающая априорные и апостериорные вероятности:

Обычно, H1, H2, . . . , Hn условия проведения эксперимента, а A со• бытие, связанное с результатом эксперимента.

Последовательности независимых испытаний. Как было отмече• но, вероятностная модель эксперимента включает в себя множество элемен• тарных исходов Ω, σ-алгебру событий, связанных с данным экспериментом F, и вероятностную меру P. Пусть проводится несколько экспериментов (Ω1, F1, P1), (Ω2, F2, P2), . . . . В качестве множества исходов последователь• ности экспериментов удобно выбрать прямое произведение множеств исхо•

5

дов отдельных экспериментов (например: прямое произведение двух коор• динатных прямых координатная плоскость). В качестве σ-алгебры собы• тий выберем минимальную σ-алгебру, содержащую алгебру F1 × F2 × . . .

(т.е. любое событие представляется как не более чем счетное объединение множеств вида A1 ×A2 ×. . . , где A1 F1, A2 F2, . . .). Задание вероятност• ной меры P на (Ω, F) завершает построение модели последовательности экспериментов.

Эксперименты называются независимыми, если мера P является пря• мым произведением мер P1, P2, . . . , т.е. при каждом n IN для любых событий A1 F1, A2 F2, . . . , An Fn справедливы равенства

P(A1A2 . . . An) = P(A1)P(A2) · . . . · P(An).

Таким образом, эксперименты являются независимыми, если любые собы• тия, связанные с различными экспериментами, являются независимыми в совокупности. Например, последовательное бросание монеты является по• следовательностью независимых экспериментов, а при последовательном вытаскивании карт из колоды эксперименты зависимы.

Последовательность независимых экспериментов, множество исходов каждого из которых состоит из двух событий (успех и неудача), а σ-ал- гебра событий из всех подмножеств этого множества, называется после• довательностью испытаний Бернулли, если вероятность успеха в каждом из испытаний одинакова (возможно построение других моделей последова• тельности испытаний Бернулли, см. пример в начале раздела). Обозначим µn число успехов в n испытаниях. Для вычисления вероятностей, связан• ных с числом успехов в n испытаниях, используется формула Бернулли:

P(µn = k) = Cnk pk(1 − p)n−k.

Однако при большом числе испытаний использование данной формулы ста• новится крайне неудобным. Приближенно эти вероятности могут быть вы• числены с помощью локальной теоремы Муавра-Лапласа, которая при лю• бом > 0 устанавливает сходимость

q = 1−p, A некоторая положительная константа.

6

Однако, если значение вероятности успеха p мало, а n недостаточно вели• ко, то погрешность вычисления становится слишком велика. В этом случае лучше использовать формулу Пуассона:

P(µn = k) − λkexp(−λ)/k! −−→ 0,

n→∞

где λ = np.

Для приближенного вычисления вероятностй вида P(k1 < µn < k2) ис• пользуется интегральная теорема Муавра-Лапласа, которая устанавливает соотношение:

где a = (k1 −np)/√npq, b = (k2 −np)/√npq. Отметим, что знаки "<"в дан• ной формуле могут быть заменены на "≤", и наоборот. Это связано с тем, что данная формула является асимптотической и правая часть непрерывна по переменным a и b. Для наиболее точного приближенного вычисле• ния вероятностей вида P(k1 ≤ µn ≤ k2) при целых значениях k1√и k2 рекомендуется использовать данную формулу с a = (k1−np−1/2)/ npq, b = (k2 − np + 1/2)/√npq. Значение выражений, стоящих в правых частях вышеприведенных приближенных формул, могут быть найдены с помощью таблиц.

Случайные величины. В большинстве практических задач изучае• мый процесс удобно представлять в виде набора чисел. Таким образом строится отображение из вероятностного (исход эксперимента) в евклидово пространство.

Пусть B борелевская σ-алгебра на прямой (минимальная σ-алгебра, со• держащая всевозможные интервалы). Отображение ξ вероятностного про• странства (Ω, F, P) в вещественную прямую (IR, B), при котором все мно• жества вида {ω Ω : ξ(ω) A}, A B, являются событиями σ-алгебры F (т.е. измеримое отображение), называется случайной величиной.

Каждое такое отображение порождает меру на прямой (IR, B), которая называется распределением случайной величины ξ. Распределение удобно задавать с помощью функции распределения Fξ : IR → [0, 1], определяемой равенством

Fξ(x) = P(ω Ω : ξ(ω) < x) = P(ξ < x), x IR.

Отметим, что область задания функции распределения вся вещественная прямая, т.е. каждому вещественному числу она сопоставляет соответству• ющее значение вероятности. Нетрудно показать, что Fξ(x) неубывающая

непрерывная слева функция и lim Fξ(x) = 0, lim Fξ(x) = 1.

x→∞

Носителем распределения (или множеством значений) случайной вели• чины ξ называется любое борелевское множество Nξ IR такое, что P(ξ / Nξ) = 0. В частности, образ множества Ω при отображении ξ

является носителем распределения ξ. Будем говорить, что носитель рас•

7

пределения ξ содержится в множестве A, если существует носитель рас• пределения ξ, содержащийся в данном множестве. Отметим, что носитель распределения определяется однозначно с точностью до множеств меры 0

(P(Nξ(1) 4 Nξ(2)) = 0). Распределение случайной величины полностью ха• рактеризуется значениями на измеримых подмножествах носителя.

В множестве случайных величин выделяют два основных подкласса. Дискретными величинами называются величины, множество значений ко• торых конечно или счетно (например, множество целых чисел и множество рациональных чисел являются счетными, а отрезок [0, 1] нет).

Случайные величины, имеющие непрерывные функции распределения, называются непрерывно-распределенными, или непрерывными.

Рассмотрим некоторые σ-конечные меры µ и ν, заданные на борелев• ской σ-алгебре. Плотностью (или производной Радона-Никодима) меры µ относительно меры ν называется функция p(x) такая, что

Z

µ(A) = p(x) ν(dx),

A

для любого борелевского множества A. Теорема Радона-Никодима устанав• ливает, что такая функция существует, если для любого множества A, тако• го, что ν(A) = 0, выполнено соотношение µ(A) = 0 (т.е. мера ν доминирует меру µ).

В некоторых задачах удобно задавать распределение с помощью плот• ностей распределения относительно доминирующей меры. Для дискретной случайной величины в качестве доминирующей удобно брать считающую меру, сконцентрированную на не более чем счетном множестве ее значений (например, на множестве целых чисел), т.е. мера ν каждого борелевского множества равна числу значений случайной величины, принадлежащих в данному множеству. В этом случае плотность распределения относительно считающей меры равна вероятности попадания значения случайной вели•

Непрерывная случайная величина называется абсолютно непрерывной, если существует плотность p(x) распределения данной случайной величи• ны относительно меры Лебега, т.е.

Z

P(ξ A) = p(x)dx

A

для любого борелевского множества A.

8

Числовые характеристики случайных величин. Математиче• ским ожиданием случайной величины называется числовая характеристи• ка E ξ, определяемая равенством

где Fξ функция распределения величины ξ. В случае, если существует плотность распределения pξ(x) относительно некоторой меры Q на прямой (обычно это мера Лебега или считающая мера), то данная формула может быть переписана в виде

∞

Z

E ξ = x pξ(x) Q(dx).

−∞

Отметим, что если Q мера Лебега (абсолютно непрерывный случай), то это обычный интеграл по dx, а если Q считающая мера (дискретный случай), то интеграл превращается в сумму.

Используя формулу математического ожидания, нетрудно вывести вы• ражения для E G(ξ) при различных G.

Дисперсия случайной величины, характеризующая разброс ее значений, определяется равенством

D ξ = E (ξ − E ξ)2.

Помимо упомянутых числовых характеристик в теории вероятностей рассматриваются такие числовые характеристики, как моменты высших порядков E ξk, абсолютные моменты E |ξ|k, центральные моменты E (ξ − E ξ)k, k = 1, 2, . . . , квантили qp для величин непрерывного типа, опреде• ляемые равенствами F (qp) = p, важнейшей из которых является медиана m = q1/2, максимально возможное значение случайной величины (правая граница носителя) и др.

Характеристические функции. Характеристической функцией слу• чайной величины ξ называется комплекснозначная функция fξ : IR → C, определяемая равенством

fξ(t) = E exp(itξ), t IR,

где i мнимая единица. Характеристическая функция однозначно опреде• ляет распределение случайной величины. Иногда для задания распределе• ния случайной величины удобнее использовать характеристическую функ• цию, а не функцию распределения или плотность. Отметим ряд важных свойств характеристических функций.

1◦. f равномерно непрерывна, f(0) = 0 и |f(t)| ≤ 1 при всех t IR.

2◦. faξ+b(t) = exp(ibt)f(at), t IR. 3◦. E ξk = (itk)! k f(k)(0).

9

4◦. Характеристическая функция вещественна тогда и только тогда, когда соответствующее распределение симметрично.

5◦. Формула обращения характеристической функции имеет вид

−T

для любых a и b точек непрерывности функции распределения ве• личины ξ.

6◦. Если ξ и η независимые случайные велчины, то fξ+η(t) = = fξ(t)fη(t), t IR (обратное, вообще говоря, не верно).

7◦. Для того чтобы функция f была характеристической функцией неко• торого вероятностного распределения, необходимо и достаточно, что• бы она была равномерно непрерывна и положительно определена, т.е.

mm

P P

λiλjf(ti −tj) > 0 для любых конечных наборов комплексных чи•

i=1 j=1

сел λ1, λ2, . . . , λm и вещественных параметров t1¯, t2, . . . , tm. Характеристическая функция случайного вектора ξ = (ξ1, ξ2, . . . , ξn) вы•

числяется по формуле

j=1

¯

= (t1, t2, . . . , tn) и ξ. Отметим, что все упомянутые свойства обобщаются на случай многомерной характеристической функции.

2. Вычисление распределений функций от случайных величин

Пусть G : IR → IR некоторая измеримая функция (т.е. G−1(A) B для любого A B). Предположим, что справедливо соотношение η(ω) = G(ξ(ω)) для всех ω Ω. Функция распределения случайной величины ξ имеет вид Fξ(x), x IR. Вычислим функцию распределения случайной величины η:

Fη(x) = P(η < x) = P(G(ξ) < x).

Далее следует вычислить прообраз интервала (−∞, x) при отображении G. Обозначим его I(x). В силу измеримости отображения G данный прообраз является борелевским множеством. Тогда

Fη(x) = P(ξ I(x)) для всех x IR.

Если величина ξ имеет дискретное распределение вида

10