1.3Совместная и условная вероятности

Пусть мы имеем дело с двумя случайными величинами x и y. В этом

случае наблюдаются пары эмпирических значений fx1; y1g; fx2; y2g; и т.д., возникающие с той или иной частотой. Поэтому можно говорить о

совместной плотности вероятности P (x; y) того, что величины принимают некоторые значения в окрестности x и y.

Совместная вероятность позволяет вычислять среднее от произвольной функции двух аргументов:

Если мы не интересуемся значением величины y, можно P (x; y) проин-

тегрировать по всем е¼ возможным реализациям и получить плотность вероятности только для величины x:

1

Z

1

Интегрирование ещ¼ раз левой и правой части по x даст единицу. Поэто-

му условие нормировки имеет форму двойного интеграла. Оно получается из (1.15), если положить F (x; y) = 1, так как h1i = 1.

Одновременное изучение x и y необязательно означает их временное совпадение. Например, в финансах x может быть изменением цены за день европейского фондового индекса, а y американского, торгуемого

после европейского. Между ними существует причинная связь, раздел¼нная временем. С другой стороны, изменение цен двух акций x и y за день

происходит одновременно и зависит от внешних синхронизирующих факторов (новости, макроэкономика и т.д.).

Как мы увидим в следующем разделе, совместная плотность вероятности P (x; y) особенно важна, если между случайными величинами суще-

ствует некоторая зависимость. Эта связь может иметь функциональную форму y = f(x). Тогда, если для x реализуется некоторое значение, то ве-

личина y будет полностью предопределена. Однако чаще y = f(x; ), гдетретья, ненаблюдаемая , случайная переменная. Она может быть

непредсказуемым внешним воздействием, меняющим параметры функциональной зависимости y = f(x), или динамической переменной, кото-

рую мы не учли в более простой модели.

Кроме совместной вероятности двух величин x и y удобно ввести

условную плотность вероятности. Она отвечает на вопрос, какова вероятность y, если уже известно значение величины x . Условная плот-

ность равна совместной P (x; y), нормированной на вероятность уже доступной информации P (x) (см. также стр. 299 в приложении М):

В качестве примера для P (x) рассмотрим нормальное распределение (1.10), а для совместной плотности вероятности P (x; y) двумерную пов¼рнутую гауссиану:

Совместная и условная вероятности представлены на рисунке ниже:

Объ¼м под P (x; y) равен единице, тогда как под P (x ) y) бесконечно-

сти. Нормировка условной вероятности имеет смысл получения любого значения y при данном x:

ко ниже мы увидим, что P (x ) y) оказывается более естественной за-

писью при описании цепочек связанных между собой событий. В любом случае P (x ) y), как и P (x; y), это функция двух вещественных аргу-

ментов.

Условная вероятность важна, так как позволяет связать друг с другом разнообразные события, отражая их причинно-следственную связь.

Рассмотрим вероятностные свойства русского языка. Каждая из 33-х букв, включая пробел _ , имеет свою вероятность появления е¼ в тексте:

p(_) = 0:163; p(î) = 0:0940; p(å) = 0:0696; :::; p(ú) = 0:0002:

Если мы хотим определить вероятность встречи в произвольном месте некоторой подстроки, например, ýò , мы должны подсчитать число таких подстрок и разделить на общее число всех подстрок вида ** , где зв¼здочка обозначает любой символ. Для вычисления условной вероятности P (ý ) ò) появления буквы ò , если перед ней стоит ý , необходимо

отобрать все подстроки, удовлетворяющие маске ý* ( ý , затем любой символ * ), и выяснить, сколько среди них ýò . В результате:

p(ýò) = N(ýò)=N(**) = 0:002; p(ý ) ò) = N(ýò)=N(ý*) = 0:739;

где N число подстрок, удовлетворяющих соответствующей маске. Для текста из n символов N( ) = n 1, а N(ý*) = p(ý) n. Понятно, что

количество как совместных, так и условных вероятностей для двух букв равно 332 = 1089.

Вероятность встретить в тексте конкретную букву зависит от предыстории (предшествующих букв). Например, после ý вероятность появления ò в 14 раз выше, чем безусловная вероятность появления буквыò : p(ò) = 0:051. Наоборот, некоторые сочетания букв крайне сложно

произносимы. Например, после á вряд ли появится ï .

Зная условные вероятности, можно создавать синтетические тексты. Так, по известной предыстории ...cba новая буква x генерится с вероятностью, равной p(:::cba ) x). Чем длиннее предыстория условной

вероятности, тем более благозвучные получаются сочетания:

BP (x): а аотовчеи вс оувмпйоийпгунлрстк и рннсаьеоивотрл денааслеоуеаиои нш и охаиоооомызкнт ннсо врыь ттлмоооас л чоулвкт;

BP (a ) x): волизлитоди нугрндатнухак мисо о меловли одетестроскась нудатотосрато сдото сялушлана ини н дышетазеноноразабыт;

BP (ba ) x): не толда при ной зловьются дально ка коров и к бы сли казас тали ива не же с повся обыл казакорну об это бы никтолу;

BP (cba ) x): не заблюди он майта втобы из местью секратное и надо сказаление вдруг нашает и потороткостор да выше ну задередило.

Âпервом случае использованы одиночные вероятности и никак не учитывается история. Во втором только предшествующая буква определяет следующую, и т.д.

В качестве второго примера воспользуемся данными ежедневных цен закрытия xt фондового индекса S&P500. Вычислим его логарифмиче- ские доходности rt = ln(xt=xt 1) в процентах (l C6). Разобь¼м диапазон их значений на пять интервалов:

(1::: 3%); [ 3%::: 1%); [ 1%:::+1%]; (+1%:::+3%]; (+3%:::+1):

Таким образом, состояние рынка будут характеризоваться одной из пяти возможностей: от паники (1::: 3%) до эйфории (+3%:::1).

Соответственно, каждое rt становится дискретной случайной величиной, принимающей пять значений. В этом случае это уже будут не доходности, а номера состояний рынка, например -2,-1,0,1,2.

Можно рассмотреть совместную вероятность p(rt 1; rt) того, что два последовательных дня имеют состояния rt 1 è rt. Каждый день реали-

зуется одна из пяти возможностей, поэтому для двух последовательных дней будет 25 = 52 различных комбинаций таких состояний: {(0,0); (0,1);

(0,-1);...}. За период 1990 2007 г. г. был n = 4531 торговый день. Вероятности каждого из пяти состояний имели значения:

p(r) = 0:007 0:110 0:761 0:125 0:007 :

Для их вычисления необходимо подсчитать, сколько торговых дней оказывается в каждом состоянии, после чего разделить их на n. Наиболее

типичными для рынка являются спокойные дни [ 1%::: + 1%], которые происходили 3451 = 0:76 4531 раз. Аналогично буквам из предыдущего примера вычисляются условные вероятности:

Первая строка в этой матрице соответствует переходу из состояния паники вчера в одно из пяти возможных состояний сегодня. Аналогич- но последняя строка да¼т условные вероятности перехода из состоянияэйфории . Обращает на себя внимание то, что вероятности перехода изспокойного рынка (средняя строка), практически совпадают с безусловными вероятностями p(r). Если же вчера рынок не был спокойным, веро-

ятности отклоняются от однодневных. Особенно это заметно ( l C5) äëÿ крайних строк паники и эйфории . Так как полная вероятность перейти хоть в какое-то состояние равна единице, то сумма чисел в каждой строке также равна единице [ см. (1.18)].