дов

В последнем равенстве мы использовали формулу для дисперсии интеграла от кусочно по-

стоянного процесса (t) ~ (t) Резюмируем: если диаметр последовательности разбиений сходится к нулю, то соответствующие интегральные суммы сходятся и их предел называется интегралом Ито.

В интернете имеется курс лекций (на английском), который можно рекомендовать. Причем этот курс выкачивать не надо, если вы захотите его посмотреть, я дам файл, но не просто так, а потом проверю, что вы из него почерпнули.

Lawrence G. Evans. An Introduction to Stochastic Di erential Equations. Version1.2. Berkeley University.

5. Стохастические дифференциальные уравнения

Теперь мы можем ввести понятие стохастического дифференциального уравнения. Для них неудобно использование обозначений типа dwdt (траектории винеровского процесса с вероятностью 1 недифференцируемы ни в одной точке), поэтому их предпочитают записывать в дифференциалах.

Решением X уравнения

dX = F (X)dt + G(X)dw(t)

по определению называется такой не зависящий от прошлого винеровского процесса (предсказуемый) случайный процесс X, что тождественно

Z t Z t

X(t) = X(0) + F (X(s))ds + G(X(s))dw(s):

00

Таким образом, хотя стохастические дифференциальные уравнения записываются в дифференциалах, они на деле являются интегральными уравнениями, причем с использованием стохастических интегралов. Иногда они имеют явное решение, но как правило, для них разрабатывается техника приближенных вычислений. В теории обычных интегралов и дифференциальных уравнений используют приемы, которые называются ’замена переменных’ и ’интегрирование по частям’.

6. Формула Ито замены переменных

Пусть X предсказуемый процесс, причем

где F и G некоторые предсказуемые процессы.

Вопрос. Чему равен стохастический дифференциал процесса

Y (t) = u(X(t); t)?

Ответ дается знаменитой формулой Ито:

Более подробно можно записать следующим образом:

dY (t) = @u(X; t)dt + @u(X; t)F (t)dt + @u(X; t)G(t)dw + 1 @2u(X; t)G2(t)dt: @t @x @x 2 @x2

Доказательство этой формулы довольно длинно и технично, оно будет проведено на уровне идей. Поэтому нет смысла приводить также необходимые для справедливости формулы условия, их довольно много и все это можно найти в учебниках по теории стохастических дифференциальных уравнений.

201

Для понимания этой формулы рассмотрим частный случай функции u одной переменной, зависящей только от x и сравним формулу

в этой случае с обычной формулой замены переменной в интеграле. Мы видим, что в обычной формуле

Z

u0(X)dX

отсутствует вторая производная

1 @2u(X; t)G2(t)dt: 2 @x2

Почему в формуле Ито используется вторая и в то же время отсутствуют производные более высокого порядка?

Итак, как получается формула Ито. Мы можем приближенно написать приращение процесса X(t):

X(t + t) X(t) = F (t) t + G(t)[w(t + t) w(t)]:

Теперь посмотрим на приращение функции u(X) и разложим его по формуле Тейлора.

u(X(t + t)) u(X(t)) u0(X(t))(X(t + t) X(t))+

+12u00(X(t))(X(t + t) X(t))2 =

=u0(X(t))(F (t) t + G(t)[w(t + t) w(t)])+

+12u00(X(t))(F (t) t + G(t)[w(t + t) w(t)])2 =

=u0(X(t))(F (t) t + G(t)[w(t + t) w(t)]) + 12u00(X(t))

(F 2(t) t2 + 2F (t)G(t) t[w(t + t) w(t)] + G2(t)[w(t + t) w(t)]2):

Подумаем, какие слагаемые в

(F 2(t) t2 + 2F (t)G(t) t[w(t + t) w(t)] + G2(t)[w(t + t) w(t)]2)

вносят существенный вклад после суммирования по всем приращениям.

Как мы уже неоднократно видели (например, в §14), сумма приращения F 2(t) t2 = o( t) мажорируется диаметром разбиения (умноженным на максимум F 2), поэтому стремится к нулю. В то же время, сумма слагаемых G2(t)[w(t + t) w(t)]2 имеет б´ольшее значение. Мы

уже считали

E[w(t + t) w(t)]2 = t;

в то же время второй момент этого выражения равен

E [w(t + t) w(t)]2 2 = 2 t2:

Таким образом, ошибка при замене в сумме случайной величины [w(t + t) w(t)]2 на его среднее t мажорируется диаметром разбиения, который сходится к нулю. Мы уже видели, что суммы всех таких приращений на отрезке [0; T ] сходятся при диаметре разбиения, сходящемся

к 0, к T . Итак, слагаемое

G2(t)[w(t + t) w(t)]2

нужно учитывать, заменив его на G2(t) t. Рассмотрим другое слагаемое 2F (t)G(t) t[w(t +

t) w(t)].

E( t[w(t + t) w(t)]) = 0; E( t[w(t + t) w(t)])2 = t3:

202

Эти величины также являются маленькими. Мы увидели причину появления дополнительного слагаемого. Напоминаю, что все это нестрого и не может считаться настоящим доказательством формулы Ито.

7. Применения формулы Ито.

Пример 1. Теперь покажем, как с помощью формулы Ито мы можем опять сосчитать интеграл

T

Z

w(t)dw(t):

0

Согласно формуле Ито

dw2(t) = 2w(t)dw(t) + 122dt:

Переходя к интегралам

Z

w2(T ) = 2 w(t)dw(t) + T;

0

что и требовалось.

Замечание. Формула Ито имеет смысл и для функций многих переменных от нескольких случайных процессов. Используя такую формулу, легко получить следующую:

Формула Ито для произведения

Пусть

dX1 = F1dt + G1dw;

dX2 = F2dt + G2dw;

тогда

d(X1X2) = X2dX1 + X1dX2 + G1G2dt:

Однако эту формулу можно вывести и из трехкратного использования одномерной формулы Ито, используя равенство

d(X1X2) = 12fd(X1 + X2)2 d(X1)2 d(X2)2g:

8. Пример решения стохастического дифференциального уравнения

dX(t) = g(t)X(t)dw(t);

где g – непрерывная (детерминированная, то есть неслучайная) функция, X(0) = 1. Тогда

Обозначим

tt

тогда

dY (t) = 12g2(t)dt + g(t)dw(t):

203

По формуле Ито при X(t) = u(Y ) = eY

§35. Мартингалы

В основе понятия мартингала лежит другое важнейшее понятие условное среднее или условное математическое ожидание. А именно, пусть дана случайная величина на вероятностном пространстве ( ; A; P) (т.е. измеримая относительно -алгебры A), имеющая среднее значение E , и пусть дана -подалгебра B A. Тогда существует такая B-измеримая случайная величина E( jB), связанная с соотношением:

BB

Существование такой функции основано на использовании теоремы Радона – Никодима. Согласно этой теореме, для любого заряда на -алгебре A (т. е. счетно аддитивного отображения в R), абсолютно непрерывного относительно вероятности P, т. е. такого, что

P(A) = 0 ( (A) = 0:

В этой ситуации теорема Радона – Никодима утверждает, что существует так называемая

производная Радона – Никодима f = d dP

интеграл по f:

Z

(A) = f(!)dP(!) для всех A 2 A:

A

Как же из этой теоремы мы выводим существование условного среднего значения? Мы вводим заряд на B как неопределенный интеграл:

Z

(B) = dP; для всех B 2 B:

B

Из свойств интеграла Лебега следует абсолютная непрерывность относительно P. Условным средним мы и называем производную Радона Никодима заряда . Таким образом, мы сначала ’превращаем’ случайную величину в заряд , сужаем область определения заряда на B, а потом ’превращаем’ суженный заряд в случайную величину.

Лучше всего можно понять условное среднее в случае конечной -алгебры B, порожденной конечным числом событий B1; :::; Bk, этот случай был по-существу разобран в разделе ’Функция регрессии’. Нетрудно видеть, что в этой -алгебре имеются наименьшие непустые элементы A1 + ::: + An = и каждый элемент -алгебры представляется в виде конечной суммы этих элементов. Как выглядит в этой ситуация обычная условная вероятность некоторого события B, которую мы представляем как условное среднее случайной величины IB? Теперь это не число, а случайная величина, но она записывается через условные вероятности:

E(IBjB)(!) = P(BjAi); если ! 2 Ai;

эта случайная величина задана с точностью до множества меры 0.

Упражнение 4. Пусть случайная величина, имеющая среднее и измерима относительно -алгебры B. Покажите, что

E( jB) = :

204

1. Свойства условного среднего.

Условное среднее ведет себя, как усреднение интеграла (но на каждом Ai в рассмотренном примере усреднение идет только по Ai).

Например, легко видеть, что

E(a + b jB) = aE( jB) + bE( jB):

Отметим наиболее важные свойства:

i)E(E( jB)) = E( );

ii)если случайная величина измерима относительно -алгебры B и ограничена, а ин-

тегрируема, то

E( jB) = E( jB):

Это утверждение немедленно доказывается в случае = IB индикатора события B 2 B, а именно, для IBE( jB) проверяется (1). Произвольный случай сводится к этому: сначала мы доказываем ii) для дискретных , а потом предельным переходом для произвольных . (Рекомендуется самостоятельно провести эти рассуждения.)

iii) если ' выпуклая функция, т. е. для любого 2 (0; 1)

'( x + (1 )y) '(x) + (1 )'(y);

то

Сначала нужно доказать неравенство для обычного среднего

Доказательство проводится сначала для дискретной случайной величины с конечным числом значений, при этом все сводится к неравенству, доказываемому по индукции: если p1 + ::: + pn = 1, pi > 0, то

'(p1x1 + ::: + pnxn) p1'(x1) + ::: + pn'(xn):

Дальше предельным переходом мы доказываем (**) для любой дискретной случайной величины, а потом и для любой случайной величины (у которой существует соответствующие средние). Неравенство для условного среднего сводится к к неравенству для обычного среднего: сначала мы рассматриваем случай конечной -алгебры B, потом предельным переходом рассматриваем произвольный случай. При этом конечные -алгебры мы строим по случай-

2. Мартингалы.

Определение. Пусть для каждого t 0 задана -алгебра Ft A, причем Ft Fs при t s. Такой набор -алгебр называется фильтрацией. Случайный процесс t называется мартингалом относительно этой фильтрации, если при любом t случайная величина t измерима относительно Ft и при любых t s

E( sjFt) = t:

Это определение аналогичным образом формулируется и для дискретного времени f0g [ N. Рассмотрим простой пример, в котором состоит из всех бесконечных последовательно-

стей из гербов и решек, F1 состоит из , ;, множества всех последовательностей вида fг...g (вероятность этого множества равна 1=2), и множества всех последовательностей вида fр...g (вероятность этого множества также равна 1=2). Соответственно F2 порождается множествами fгг...g, fгр...g, fрг...g, fрр...g (с вероятностью 1=4 каждое). Аналогично строятся и все Fn для

205

б´ольших n. Пусть случайные величины n равны 1 если на n-м месте в элементе находится герб и 1 если на n-м месте находится решка. Эти случайные величины измеримы относительно -алгебры Fn и j nj 1. Введем также случайную величину = P n=2n. Очевидно,

n

что случайная величина интегрируема. Определим последовательность

n = E( jFn)

Легко проверяется, что последовательность ( n) представляет собой мартингал, который определяется фильтрацией и одной случайной величиной . Более того,

Ниже мы докажем, что при не очень ограничительных условиях любой мартингал имеет похожее свойство.

3. Теорема Дуба. Пусть последовательность ( n) является мартингалом относительно фильтрации (Fn), причем supn Ej nj < 1. Тогда последовательность ( n) сходится п. н.

Сначала докажем неравенство для мартингалов. Предварительно напомним обозначение для любой случайной величины + = maxf ; 0g.

Лемма. В условиях теоремы зафиксируем набор 1,..., N и зафиксируем числа a < b. Обозначим через N случайную величину число всех перескоков последовательности ( n) через отрезок [a; b], то есть число всех кусков в нашем наборе вида i(!), i+1(!), ..., j(!),

Доказательство. Обозначим i = ( i a)+. Заметим, что в терминах новых случайных величин i один перескок означает изменение от i = 0 до значения j b a, где i < j и k < b a для всех i < k < j, т.е. момент j момент первого перескока после i. Далее обозначим через Ak событие, состоящее из таких !, что i(!) = 0 для некоторого i < k иm(!) < b a для всех i m < k. Событие Ak отнюдь не означает завершение перескока в момень k. Но если для данного случайного исхода ! происходит (один!) перескок от i(!) = 0 до j(!) b a, то ! попадает во все Ak, где i < k j. Поэтому для всех !, в которых начиная с момента i и кончая моментом j произошел перескок, имеет место неравенство

j 1

X

b a ( k+1 k)IAk+1 :

k=i

Суммируя эти неравенства для всех ! и всех перескоков, получаем

Заметим, что к концу нашей последовательности может появиться i(!) = 0, но после этого никакого перескока не будет. При этом ! все равно попадет во все Ak, где k > i. Тогда левая часть (3) не увеличится за счет соответствующих слагаемых, но и правая часть не уменьшится,

так как

N

X

k(!) k 1(!) = N i 0:

k=i+1

206

Упражнение. Дан конечный набор вещественных чисел fx1; :::; xng. Выберем в нем все числа xi такие, что для данного i существует j(i) i со свойством xi + ::: + xj(i) 0. Доказать, что сумма всех выбранных чисел неотрицательна.

Теперь заметим, что функция ' : x ! maxfx a; 0g является выпуклой функцией, i = '( i). По свойству iii)

E ( ijFi) = i = '( i) = ' (E( i+1jFi)) E (' ( i+1) jFi) = E ( i+1jFi) для любого i:

Существенно, что входящие в (3) индикаторы IAi+1 зависят лишь от значений мартингала до момента i включительно и поэтому принадлежат Fi. Теперь выведем (2) из (3), используя свойства i), ii), iii) условного среднего:

(пока мы использовали i))

N 1

X

=E IAi+1 E( i+1 ijFi)

i=1

(здесь мы использовали свойство ii); как мы уже видели раньше, из iii) следует, что E ( i+1 ijFi) 0, поэтому заменяя IAi+1 на 1, мы только усилим неравенство)

N 1

X

E[E( i+1 ijFi)] =

i=1

(а теперь используем i) в другую сторону)

N 1

X

=E( i+1 i) = E N E 1 E N :

i=1

(последнее неравенство следует из неотрицательности 1).

Доказательство теоремы. Предположим противное, предел ( n)(!) не существует для ! на множестве A строго положительной меры (убедитесь сами, что это множество измеримо). Это означает

lim infn n(!) < lim supn n(!) для всех ! 2 A:

Это можно записать и по другому:

lim infn n(!) < a(!) < b(!) < lim supn n(!) для всех ! 2 A:

Разумеется, с каждыми a < b мы можем связать событие

[

Aa;b = f! : lim infn n(!) < a < b < lim supn n(!)g; A = Aa;b:

a<b

Последнее равенство верно, если мы рассматриваем в нем лишь пары рациональных a и b, а множество таких пар счетно. Далее, объединение счетного числа множеств нулевой меры имеет меру нуль, поэтому из PA > 0 следует существование такой пары рациональных чисел a < b, что PAa;b > 0. Однако по определению Aa;b для любого ! 2 Aa;b последовательность ( n(!)) имеет бесконечное число перескоков через (a; b). Поэтому

lim E N = 1PAa;b = 1:

N

207

Вместе с неравенством (2) это приводит к противоречию с ограниченностью последовательности Ej nj.

Пример мартингала, для которого не выполняются условия теоремы Дуба. Рассмотрим процесс случайного блуждания n.

4. Некоторые вопросы.

Что такое момент остановки, если задана возрастающая фильтрация -алгебр Ft, t 0. Это такая неотрицательная величина , что

f tg Ft для всех t:

Иными словами, для принятия решения об остановке до момента t включительно, нам достаточно наблюдать случайный процесс до этого момента включительно.

Упражнения. 1. Пусть S1,...,Sn мартингал с конечным временем, случайный момент остановки. Доказать, что ES не зависит от .

2.Пусть t случайный процесс, непрерывный в среднем, некоторый момент остановки. Доказать, что случайная величина, то есть измерима.

3.Как доказать, что два условных средних E( jFt) и E( jFt) совпадают почти наверное?

5. Винеровский процесс мартингал.

Упражнение. Пусть случайная величина имеет среднее и не зависит от -алгебры F. Тогда

E( jF) = E п. н.:

(Нетрудно догадаться, что означает независимость от -алгебры: для любого борелевского множества B и любого события A 2 F события f inBg и A должны быть независимы). Как и обычное среднее, условное среднее также удовлетворяет неравенству jE( jF)j Const, если j j Const п. н. Поэтому, представляя случайную величину как равномерный предел последовательности дискретных случайных величин , как обычно, мы сводим общий случай к дискретному случаю, а дискретный случай ввиду аддитивности условного среднего сводится к случаю индикатора события. Итак, событие A не зависит от всех B 2 F. Проверьте, что постоянная функция P(A) удовлетворяет определению E(IAjF).

Из этого упражнения легко следует, что винеровский процесс w(t) является мартингалом относительно фильтрации

Ft = наименьшая -алгебра, относительно которой измеримы все w(s); s t:

Проверьте, что если u t, то

E(w(t)jFt) = w(t); E(w(u) w(t)jFt) = E(w(u) w(t)) = 0:

Из этого немедленно следует, что w мартингал.

§36. Задача о разборчивой невесте

Одним из примеров использования понятия мартингала является ’Задача о разборчивой невесте’ (другое название ’Задача о выборе секретаря’). Рассматривается следующая ситуация невеста выбирает себе мужа из N женихов. Число женихов известно заранее. Невеста может лишь сравнивать женихов между собой, и обладает абсолютной памятью, то есть может сравнивать данного жениха со всеми виденными ею ранее. Для любых двух женихов она может сказать, кто из них для нее лучше и кто хуже, причем эта ранжировка имеет все свойства порядка если A лучше B, B лучше C, то A лучше C. Существенное и жесткое условие отвергнутый жених перестает участовать в конкурсе, передумать по отношению к нему уже нельзя. Думается, что первое название лучше соответствует задаче, подчеркивая ее условный сказочный характер.

1. Постановка задачи.

208

Цель невесты в данной задаче сделать наибольшей вероятность выбора наилучшего жениха среди всех N. Заметим, что в данной ситуации возможны и более прагматичные цели например, если все женихи упорядочены по качеству 1-й (наилучший), 2, 3, ..., N-й (наихудший), то можно минимизировать среднее значение номера выбранного жениха. Однако задачей в такой постановке мы заниматься не будем. (Более того, непонятно обоснование такой постановки задачи.)

Единственный приходящий в голову алгоритм отказ от выбора до n-го жениха, после чего нужно выбрать первого, который будет лучше всех предыдущих. Наша последующая задача оптимизация выбора номера n, а также доказательство (интуитивно понятного) утверждения, что все другие алгоритмы хуже.

2. Математическая модель.

Если мы говорим о вероятности события и о среднем значении случайной величины, то мы должны иметь также пространство элементарных исходов с заданными на них вероятностями. В данной задаче такая модель строится совершенно очевидным способом. Произвольный элементарный исход ! это порядок прохождения женихов перед невестой. Как вы знаете, множество из N элементов можно упорядочить N! способами, таким образом, j j = N!. Итак, ! = (!1; :::; !N ) некоторая перестановка чисел f1; 2; :::; Ng, ранжировка женихов невестой уже после знакомства со всеми При этом -алгеброй событий является -алгебра A всех подмножеств . Минимальными непустыми элементами этой алгебры являются элементарные исходы точки .

Сама постановка задачи определяет естественную возрастающую фильтрацию -подалгебр A: Впрочем, здесь есть над чем подумать. Удобнее всего определять конечные -подалгебры заданием их минимальных элементов (своего рода элементарных исходов для данной -подалгебры). Все остальные элементы -подалгебры будут объединениями минимальных элементов. Напрашивается следующая фильтрация: минимальный элемент n-й -подалгебры должен определяться числами (!1; :::; !n) и в него должны входить все элементарные исходы ! = (!1; :::; !N ), первые n чисед в которых совпадают с первыми n числами набора !. Нетрудно видеть, что число элементарных исходов в такой -подалгебре будет равно N!=(N n)! (так как число способов переупорядочить числа, не попавшие в (!1; :::; !n), равно (N n)!). Однако такая фильтрация не соответствует условиям задачи, так как числа !1; :::; !n становятся известными лишь в случае знакомства со всеми женихами. При построении фильтрации надо исходить из ситуации.

Итак, каждый минимальный элемент An определяется известным на n-й момент упорядочением первых n женихов. Это упорядочение мы запишем как ( 1; :::; n) это некоторая перестановка чисел f1; 2; :::; ng. В минимальный элемент An, задаваемый перестановкой ( 1; :::; n) мы включаем все элементарные исходы (!1; :::; !N ) 2 , удовлетворяющих условиям: для всех пар натуральных чисел i; j

leqn неравенствo i < j выполняется тогда и только тогда, когда !i < !j. Итак, число минимальных элементов в An равно n!, каждый такой минимальный элемент содержит N!=n! элементарных исходов из .

3. Задача об оптимальном моменте остановки.

Сначала мы рассмотрим эту задачу в более общей ситуации.

На вероятностном пространстве ( ; A; P) заданы возрастающая фильтрация -подалгебр fA1; A2; :::; AN = Ag и такой набор случайных величин f 1; :::; N g, что случайная величина i измерима относительно -подалгебры Ai для всех i. Рассмотрим также множество T всех случайных моментов остановки со значениями в f1; :::; Ng. Напомним, что моментом остановкиназывается случайная величина со следующим свойством:

f ng 2 An 8n 2 f1; :::; Ng:

Для упрощения понимания ситуации мы будем считать конечным (как и в нашей задаче). Тогда каждая Ai будет также конечной, а следовательно, будет порождаться конечным числом минимальных попарно несоместных элементов. Эти элементы целесообразно мыслить

209

элементарными исходами, которые получены к моменту времени i. Таким образом, в каждый момент времени мы имеем множество i элементарных исходов, каждый из которых является некоторым подмножеством (событием) в момент времени i+1. Определение момента остановки означает, что в каждый момент времени i полученный к этому моменту элементарный исход !(i) дает достаточную информацию для проверки выполнения или невыполнения равенства

= i.

Итак, наша задача найти момент остановки, на котором достигается максимум

V = sup fE : 2 Tg :

Задача решается поэтапно, с помощью индуктивного процесса, причем индукция проводится не снизу, с n = 1, а сверху, с n = N. Введем множество Tn всех элементов T, принимающих значения в fn; :::; Ng. Очевидно, что T1 = T.

Vn = sup fE : 2 Tng :

TN состоит лишь из одного элемента N. Легко определяется максимизирующий N 1 во множестве TN 1. Действительно,

Далее мы введем по индукции новые случайные величины n, заданные соотношениями N =N , n = maxf n; E( n+1jAn)g. Далее

При n = 1 эта конструкция дает решение общей задачи, но нам нужно кое-что доказать.

1) Сначала мы должны показать, что n является моментом остановки. Тогда на каждом шаге мы сможем остановиться, исходя лишь из имеющейся на данный момент информации. Но это очевидно, для n = i необходимо и достаточно, чтобы для всех j < i выполнялосьi(!) < i(!), а для i было бы равенство i(!) = i(!).

2) E ( n jAn) = n E ( jAn) для любого 2 Tn.

Интегрирование этого неравенства по устанавливает оптимальность момента остановки

n.

Итак, доказываем 2). Напомним, что доказательство неравенства

E ( jF) E ( jF)

для почти всех ! означает доказательство неравенства

ZZ

E ( jF) dP E ( jF) dP

AA

для всех A 2 F. Мы знаем также, что если A 2 F, то

ZZ

dP = E ( jF) dP:

AA

Начинаем доказательство. По индукции мы предполагаем, что 2) выполняется для всех n больше или равных данного n и докажем свойство 2) для n = n 1. Итак, A 2 An 1, 2 Tn 1. Мы также обозначим 0 = maxf ; ng.

210