Лекции по ЧМ и ТВ

ãäå r(x) неотрицательная интегрируемая функция на , опреде-

ляющая вероятностную меру dPr. Она называется плотностью распределения вероятностей. IA(x) индикатор èëè характеристи- ческая функция множества (равна 1 íà A è 0 âíå åãî).

Вероятность любого исхода непрерывного испытания оказывается равной нулю.

Åñëè r = const(= 1=Pr( )), то вероятность называется геометри- ческой. Это значит, что вероятность попадания точки в множество пропорциональна его длине, площади или объему в зависимости от размерности.

5)Пространство непрерывно-дискретной случайной величины получится из непрерывного пространства, если допустить, что вероятности отдельных точек на прямой не нулевые. Меру можно задать как сумму непрерывной и дискретной мер, либо интегралом Стильтьеса.

6)Поток событий. Испытание состоит в том, что наблюдатель просто ждет, когда что-нибудь случится, например, автобус подъедет к остановке. Момент подъезда записывается. = f(t0; t1; : : : )g

множество последовательностей моментов времени. Конструкция вероятностной меры на нем не слишком проста, поэтому вероятностную меру обычно вычисляют не на этом множестве исходов, а на испытании t = fAkt; k = 0; 1; : : : g, элементарное событие Akt êî-

торого состоит в том, что за время t произошло k событий. Если

pkt вероятность исхода Akt, òî p1t + p2t + = 1: Таким образом, мы имеем здесь дело с зависящим от параметра вероятностным пространством, то есть, со случайным процессом. Пространство t åñòü

прямой образ пространства , каждый его исход Akt состоит из всех последовательностей (t0; t1; : : : ), в которых tk t < tk+1

этих вероятностей pkt не достаточно для задания случайного процесса. Необходимо иметь еще все вероятности произведений событий происшедших в разные моменты времени: P(Ak1 t1 Ak2 t2

7) Исходы непрерывные функции. Такими исходами являются кардиограммы, сейсмограммы,осциллограммы и т. п.

Вероятностные пространства и величины с ними связанные, коль скоро они оказались понятиями теории меры, можно подвергать всем известным в этой теории операциям. События можно объединять, пересекать, вычитать, строить из них алгебраическимножественные выражения. Сами испытания, как пространства с мерами, можно перемножать и отображать. Задача теории ве-

роятностей уметь определять и, в конечном счете, вычислять вероятностные меры на возникающих пространствах.

Пример 26. Четырем игрокам раздаются 52 карты от двойки до туза всех мастей. С какой вероятностью первый игрок получит 3 туза.

1) Возьмем в качестве испытания выборку (сочетание) 13 карт для первого игрока: = ffn1; : : : ; n13gg. Все такие выборки считаем равновероятными, попадая

тем самым в ситуацию классического определения вероятности. Интересующее нас событие составляет множество A = ffnjg; n1; n2; n3 4; n4; > 4g (òó-

зы в колоде мы расположили на первых четырех местах). Тогда #( ) =

#(A) = 43 4810 , поскольку A = B C, B = ffn1; n2; n3g; nk 4g,

C = ffn4; : : : ; n13g; nk > 4g

2) Можно и другим путем прийти к тому же. Пусть испытанием 1 будет под-

становка 52 карт. Первые 13 карт в ней отдаются первому игроку, вторые 13 второму и так далее. Исход благоприятствует нашему событию, если 3 места из первых 13 занимают 3 числа (туза) из 4, а четвертый туз занимает какое-нибудь место начиная с 14. Следовательно, #( ) = 52!, #(A) = 34 133 3! 39 48!. Сомно-

житель 3! упорядочивает выбранную тройку тузов, преобразуя их сочетание в размещение, а 39 = 52 13 выбирает место для для четвертого.

Вероятностное пространство есть прямой образ пространства 1: первые 13 позиций каждой подстановки из 1 лишаются упорядочения и становятся точкой из .

Упражнение 7. На отрезке [0; 1] задано геометрическое распределение.

Ñкакой вероятностью случайное число окажется рациональным? Эту задачу нельзя решить не располагая счетно-аддитивной мерой.

Упражнение 8. Задача Бюффона. Поставлена в 1733, решена в 1777. Плоскость расчерчена вертикальными прямыми через единичные промежутки. На нее случайно бросается игла длины l < 1. Считая, что положение центра

отрезка между двумя ближайшими прямыми и угол его наклона распределены равномерно, найти вероятность пересечения иглы с прямой. Ответ: p = 2l= .

Упражнение 9. Парадокс Бертрана. С какой вероятностью в единичном круге случайно выбирается хорда? Точнее, какова вероятность, что расстояние от

случайно выбранной хорды до центра не превосходит 1=2. Хорду можно выбрать тремя естественными способами:

1)В круге выбирается равномерно распределенная по площади точка середина хорды. Ответ: P = 1=4.

2)Хорда определяется концами двумя равномерно распределенными точ- ками на окружности. Ответ: P = 1=3.

3)Можно случайно и равномерно выбрать радиус, перпендикулярный хорде, и равномерно распределенную на нем точку пересечения радиуса с хордой. Ответ:

P = 1=2.

Легко разгадать этот парадокс с точки зрения колмогоровской теории вероятностей: задание вероятностной меры на множестве хорд вовсе не вероятностная задача. Но такое решение не исчерпывает вопрос: как случайно выбрать хорду в круге?

Замечания. Спрашивается: встречаются ли в действительности пространства с вероятностными мерами? В частности, какие события имеют вероятность в смысле данного определения? Имеется один сорт явлений, которые подходят под данное определение. Это повторные испытания и частота событий в них. Частота обладает свойствами меры.

Нельзя утверждать, что теория вероятностей, построенная как раздел теории меры, моделирует какие либо проявления случайного, кроме частотных. Это и определяет, например, неразрешимость парадокса Бертрана в теории вероятностей.

Следующий вопрос: теория вероятностей это одна из глав теории меры или в ней имеется специфика выделяющая ее из теории меры? Приходится признать, что такой специфики нет, вопреки кочующим из монографии в монографию про-

тивоположным заклинаниям их авторов, хотя встречаются и исключения: Тео-

рия вероятностей это просто одна из ветвей теории меры, отличающаяся особым вниманием к некоторым специальным понятиям этой теории и своей особой

областью приложений. Дж. Л. Дуб (фамилия происходит не от дуба, а от

doob свинорой пальчатый (Cynodon dactylon, бот.)). Апостолы теории, Ю. В. Прохоров, Б. А. Севастьянов, в двух энциклопедиях полагали, что теория ве-

роятностей это математическая наука, позволяющая по вероятностям одних случайных событий находить вероятности других случайных событий, связанных каким-либо образом с первыми. Другими словами вероятность это мера,

а теория вероятностей сводится к описанию процедур замен переменных в интегралах и дифференциальных формах (заметим, описанию весьма не простому

и по настоящее время проблемному). В третьей энциклопедии они дополнили фразу: . . . изучающая математические модели случайных явлений.

Способов моделирования случайного пока не найдено. Отсутствует и, наверное, невозможна даже теоретическая модель автомата, который случайно и совершенно симметрично производит одно из чисел 0 или 1. Нет и удовлетвори-

тельного общепринятого философского определения. Иногда за определение выдают эмпирическое описание: "может произойти, а может и нет". Ближе всех

к сердцу принимал эту проблему Цицерон: Нет ничего более противного разу-

му и постоянству [природы], чем случайность. Мне кажется, что и сам Бог не может знать того, что произойдет случайно и произвольно. Ибо если знает, то

это определенно произойдет, а если определенно произойдет, то не случайно.

С ним может сравниться пожалуй-что А. И. Герцен: Случайность имеет в себе

нечто невыносимо противное для свободного духа; ему так оскорбительно признать неразумную власть ее, он так стремится подавить ее, что, не зная выхода, выдумывает лучше грозную судьбу и покоряется ей; хочет, чтобы бедствия, его постигающие, были предопределены, т. е. состояли бы в связи с всемирным порядком; он хочет принимать несчастия за преследования, за наказания: тогда ему есть утеха в повиновении или в ропоте; одна случайность для него невыносима, тягостна, обидна; гордость его не может вынести безразличной власти случая. Лейбниц ( 1682) констатировал: С древнейших времен человеческий

род мучается над тем, как можно совместить свободу и случайность с цепью причинной зависимости и провидением. До сих пор мучается. А. Пуанкаре подробно рассмотрел известные попытки понять случайное и подвел плачевный итог: Почти невозможно дать удовлетворительное определение вероятности.

Разумеется, ему хотелось дать определение меры случайности. Основатель теории А. Н. Колмогоров спустя много лет после основания пытался определить случайное, отождествив его со сложным. Сложное (в его колмогоровском опре-

делении), хотя и с трудом, допускает моделирование. Но вряд ли сложное обязано быть случайным, хотя случайное, судя по всему, сложно. Остается гегелевское:

Случайное это нечто действительное, определенное в то же время лишь как

возможное . Как же это смоделируешь?

С этой проблемой связана непроверяемость теории вероятностей, обнаруженная К. Поппером. Любой результат теории утверждает вероятность некоторого события. Либо как полученную, либо как заданную. Но беда в том, что когда событие наступает или не наступает при очередном испытании, измерить, с какой вероятностью оно произошло или не произошло, не представляется возможным и утвержденную теорией вероятность просто не с чем сравнить.

Но зато проверяемы решения задач математической статистики. Более того, в постановке задачи статистики часто требуется проверить соответствие вероятностной модели опытным статистическим данным и, вдобавок, вычислить меру этого соответствия. Задачи статистики обратны по отношению к задачам теории вероятностей. В статистике известны частотные характеристики случайного процесса, но неизвестна его вероятностная мера, которая в самой теории вероятностей считается заранее заданной. Эта мера находится или уточняется вероятностными методами, а ее соответствие данным опыта статистическими. Случай согласия можно рассматривать как подтверждение правильности вероятностных расчетов, а в случае противоречия ошибку можно искать и в них. Таким образом, если теорию вероятностей рассматривать как главу теории меры, интенсивно используемую в математической статистике, то в статистике эта глава найдет возможность проверять хотя бы свою чисто математическую безошибочность.

3Вероятность и частота

Пусть некоторое испытание. Последовательность n повторений

этого опыта будет тоже испытанием, а его исходом последовательность исходов (!1; : : : ; !n):

Упражнение 10. Определенная после реализации n испытаний частота

fn(A) есть вероятностная мера при каждом n:

В этом смысле понятия вероятности и частоты оказались согласованными. Следующий результат славен частотой его превратных пониманий.

Теорема 33. (слабый или классический закон больших чисел, Бернулли, около 1700 г.) При любом " > 0

Иначе говоря, частота стремится к вероятности по вероятностной мере.

Доказательство целесообразно пока отложить и вывести из теоремы Чебышева. Нужно лишь пояснить, что событие (jfn(A) P(A)j ")

происходит в пространстве n, состоящем из наборов (!1; : : : ; !n) и снабженном произведением мер Pn = P1 : : : Pn; Pk = P:

Замечания. Словесная формулировка теоремы не совсем корректна. Сходимость по мере подразумевает одну область определения и одну меру на ней

для всех функций, а здесь каждая функция fn(!1; : : : ; !n) определена в своем

пространстве n. Формулировка подразумевает перенос функций fn на проективный предел пространств n, а формула (V.1) эквивалентна сходимости по

ìåðå.

Результату присуща и особенность вероятностных утверждений не утверждается, что частоты в повторяющихся опытах сходятся к вероятности, а лишь что доля тех последовательностей опытов, в которых этого не происходит, не велика. При этом величина доли измеряется именно этой вероятностной мерой. С точки зрения теории меры ничего особенно интересного в этом нет, но вероятностной интуиции хочется большего. Фон Мизес даже пытался избавиться от слабости и основать теорию на принципе сходимости частоты к вероятности; ни- чего хорошего из этого не вышло. Колмогоров, создав теорию, в которой частота не всегда сходится к вероятности, спустя годы предпринял еще одну атаку на случайное, столь же безуспешную.

В усилении этой теоремы теореме 41 утверждается, что мера совокупности последовательностей (!1; !2; : : : ), на которых частоты fn(!1; : : : ; !n) события

A не сходятся к вероятности A, равна нулю. Очевидно, что эта совокупность не

пуста. Но с этой теоремой связан еще более тонкий момент, существенно затрагивающий проблему моделирования случайного.

Поскольку нас интересует лишь одно событие в эксперименте, будем считать, что !j = 1, если A произошло, и !j = 0, если нет. Последовательности нулей и

единиц X1; : : : ; Xn отождествим с двоичными числами X = 0:X1 : : : Xn на отрез- ке [0; 1]. Если вероятность единицы равна 1=2-й, то случайное число принимает любое значение с одной и той же вероятностью 2 n. Поэтому вероятность попа- дания числа в отрезок [a; b] [0; 1] вычисляется по классическому определению вероятности: P(X 2 [a; b]) = 2 n #fXja X bg = jb aj с точностью 2 n 1.

Отсюда следует, что предельная вероятностная мера на отрезке, равная произведению мер на каждой цифре двоичного числа, совпадает с мерой Лебега, то есть, с геометрическим распределением. Бесконечные последовательности нулей и единиц X1; X2; : : : отождествляются с двоичными числами X = 0:X1X2 : : : , но для аккуратности нужно из множества последовательностей исключить счетное множество всех последовательностей с 1 в периоде, кроме одной последова-

тельности 0:11 : : : . Таким образом, длина множества всех чисел, частоты двоич- ных цифр которых не сходятся к 1=2, равна нулю. В частности, в этом множестве пренебрежимой длины оказались числа с частотами единиц, сходящимися

êлюбому числу p 6= 1=2. Аналогично, числа с частотами единиц, сходящимися

êчислу p, образуют на отрезке множество p-меры единица и нулевой длины.

(Эта p-мера есть бесконечное произведение мер на цифрах Xj: P(Xj = 1) = p, P(Xj = 0) = q = 1 p, что она собой представляет описать не просто). Таким образом, отрезок разбит на множества Sp с частотами единиц, сходящимися к числам p, и множество Sникуда с частотами, никуда не сходящимися. Но одна из

интуиций случайного нам говорит, что если бы мы могли случайно выбрать точ- ку на отрезке, то частоты этой точки, скорее всего, никуда не сойдутся. Если

же сойдутся, то не ясно, почему предел 1=2 предпочтительнее других. Если же число будет строиться цифра за цифрой путем случайного выбора цифры с веро-

ятностью p0, то, в предположении, что этот бесконечный процесс каким-то чудом закончится, построенное число окажется с вероятностью 1 в множестве Sp0 , åñëè

только эту вероятность мерить p0-мерой и предположить, что задание p0-ìåðû

на цифре эквивалентно "случайному выбору цифры с вероятностью p0". Однако мы не только не умеем заканчивать бесконечные процессы, но и вы-

бирать случайно 1 или 0. Возможно, особенность верояттности p = 1=2 связана с тем, что вероятность нельзя определить, но можно задать, и с тем, что ка-

жется понятным, что такое равновероятное. Что это только кажется понятным иллюстрирует притча, (приписанная Лейбницем Буридану (около 1300 около

1358), хотя она была известна еще Аристотелю), об осле, который сдох, не имея возможности выбрать между абсолютно симметричными стогами, не разрушив этой симметричности. Не лучше и другие способы реализации равновероятных событий: абсолютно симметричная монета, абсолютно симметрично подброшенная, замрет в неустойчивом положении равновесия на ребре; рука выбирающая шар из урны никогда его не вынет; идеальная рулетка никогда не остановит свое вращение и так далее. Остается свободная воля, но она не имеет математической модели.

4События и высказывания

Для построения вероятностных моделей явлений, происходящих в действительности, или имеющих описание в понятиях какой-либо естественной или гуманитарной науки, необходимо уметь превращать словесные описания элементов явления в элементы вероятностного пространства. Процедура эта неформальна, неоднозначна и требует творческого подхода. Для ее осуществления полезно следующее соответствие между операциями алгебры множеств и логиче- скими связками исчисления высказываний. Сопровождение формул эквивалентными высказываниями может облегчить восприятие их смысла. Мы не будем формализовать понятие высказывания, а воспользуемся литературным значением этого слова. Рассмотрим некоторое испытание . Каждому событию A поставим в соответствие

некоторое предложение литературного языка, которое это событие однозначно определяет. Обозначим это соответствие A () fA , ãäå

fA обозначает любое из эквивалентных высказываний. В одну сторону это соответствие устанавливается просто: Событию A можно

fA = "событие, обозначенное буквой A".

Сопоставление заданной фразе соответствующего события может быть затруднено замысловатостью фразы. Коль скоро соответствие между событиями и высказываниями установлено, получаем соответствие между операциями над ними:

A + B = A [ B () fA _ fB

A B = A \ B () fA ^ fB

{A = A () :fA

Здесь _ обозначает связку-союз "или", ^ союз "и", а символ :

обозначает отрицание высказывания, которое можно выразить не всегда корректной вставкой частицы "не" перед одним из слов пред-

ложения fA ; например, если fA = "монета упала орлом вверх", то

:fA = "монета упала орлом не вверх".

5Простейшие алгебраические следствия

Главное свойство меры, аддитивность, в вероятностном случае называется теоремой сложения вероятностей:

P(A + B) = P(A) + P(B) P(A B)

Åñëè A B = ?, то события называются несовместными, и тогда

P(A + B) = P(A) + P(B)

Пусть B событие ненулевой вероятности. Условная вероятность события A при условии что B состоялось, определяется формулой

def

PB(A) = P(A=B) = P(A B)= P(B)

Очевидно, вероятностное пространство c условной мерой ( ; B; PB) получается путем ограничения меры на измеримое подмножество B

и последующего нормирования деления на меру B.

События A; B называются независимыми, если условная вероят-

ность одного из них совпадает с безусловной: P(A=B) = P(A) èëè,

эквивалентно,

P(A B) = P(A) P(B)

Эта формула называются теоремой умножения вероятностей. Ê

этой же теореме можно отнести формулу, определяющую условную вероятность:

P(A B) = P(A=B) P(B)

P(A1 : : : An) =

= P(A1=(A2 : : : An)) P(A2=(A3 : : : An)) : : : P(An 1=An) P(An)

Пример 27. В произведении = (1 2; P1 P2) двух вероятностных пространств события вида A 2 è 1 B всегда независимы.

Формулируя этот результат словесно, обычно отождествляют события A 1 è A 2, равно как события B 2 è 1 B:

Последовательность испытаний 1, 2 вместе с мерой произве- дением называют последовательностью независимых испытаний.

Таким образом, испытания из последовательности двух испытаний зависимы, если мера на произведении пространств исходов не есть произведение мер. Можно также сказать, что испытания являют-

ся независимыми, если дискретная вероятность P(!1; !2) èëè ìåðà d P = p(x1; x2) dx1 dx2 допускают разделение переменных.

Порожденная двумя событиями на пространстве с четырьмя исходами, мера

A;B = (fA B; A B; A B; A Bg; p1; : : : ; p4); p1 = P(A B); : : : ;

есть произведение мер A = (fA; Ag; P(A)) è B = (fB; Bg; P(B)) в том и только том случае, когда события A è B независимы.

108 Глава V. ТЕОРИЯ ВЕРОЯТНОСТЕЙ

События A1; : : : ; An называются независимыми, åñëè

Qm

P(Ak1 : : : Akm) = j=1 P(Akj )

при каждом выборе попарно различных чисел k1; : : : ; km:

Упражнение 11. Построить на отрезке [0; 1] с геометрическим распределением три независимых события, каждое вероятности 1=2: Построить там же три зависимых, но попарно независимых события, каждое вероятности 1=2:

События B1; : : : ; Bm образуют полную группу событий, åñëè

= B1 + + Bm: Иначе говоря, если при любом исходе испытания происходит хотя бы одно из них. Из формулы

A = AB1 + + ABm

в случае попарной несовместности событий из полной группы вытекает формула полной вероятности:

P(A) = P(A=B1) P(B1) + + P(A=Bm) P(Bm)

В примере 2.1. 6) события Akt; k = 0; 1; : : : при каждом t образуют бесконечную полную группу, так что m может быть равно 1.

Формулы Бейеса (Т. Бейес, 1763) позволяют вычислять условные вероятности P(Bj=A) несовместных событий Bj полной группы, ко-

гда известны их безусловные вероятности P(Bj) и условные вероятности P(A=Bj) самого условия:

Bj могут называться гипотезами, их вероят-

ности априорными (доопытными) вероятностями, а их условные

вероятности апостериорными (послеопытными) вероятностями . Понимать это надо так, что опыт предваряется серией испытаний, в результате которой оказалось возможным найти вероятности (ча-

стоты) события A при различных условиях. Например, вероятности

успеваемости студентов в зависимости от времени года, длительности военной службы, уровня продажи пива и урожая свеклы. Тогда после опыта, например, если вдруг успеваемость повысилась, можно узнать вероятность падения продажи пива.

Замечание. Чебышев считал сами формулы Бейеса гипотезами. Скепсис и многих других исследователей, разумеется, относится к использованию "байесовских методов" в практической статистике. Интересно также, что формул Бейеса у самого Бейеса нет.

6Случайные величины

В теории вероятностей и математической статистике посредством случайных величин переводят на математический язык задачи естественных и общественных наук, связанные со случайностью. Их роль полностью аналогична роли обозначений в начальной алгебре

Пример 28. Функция и плотность распределения дискретной случайной величины Xa, сосредоточенной в одной точке x = a:

FXa (x) = H(x a); pXa (x) = (x a)

1 1

xy

ZZ

=p(X;Y )(x; y) dx dy

1 1

Первый двумерный интеграл здесь понимается в смысле Лебега Стильтьеса, а ко второму можно перейти в случае гладкости функции распределения.

Замечания.

1) Если исходы испытания обозначаются числами (векторами), то можно определить случайную величину X(!) = !. Ее вероятностное пространство совпадает

с исходным пространством , а сама случайная величина будет координатой на

íåì.

2) На пространстве с произвольными исходами можно выбрать систему координат. Тогда все проблемы этого пространства станут задачами, относящимися к совместному распределению нескольких случайных величин. Если задача сразу формулируется в таком виде, проблемой может стать отыскание вероятностного пространства, на котором величины определены, однако не всегда эту проблему требуется решать. Во всяком случае, если число случайных величин конечно и найдено их совместное распределение, то испытанием, в результате которого они принимают значения, можно считать само присвоение этих значений всем случайным величинам. Процедура этого присвоения не обязана как-либо согласовываться с вероятностной мерой.

3) С каждым событием A связывается случайная величина XA с двумя зна- чениями: XA = 1, если событие происходит, и XA = 0 в противном случае.

Вероятности этих значений, естественно, равны p0 = 1 P(A) è p1 = P(A): В пространстве этой величины можно ставить и решать все задачи, связанные только с одним этим событием.