дов

3. Теорема. Имеется стационарный случайный процесс n, n 2 Z, с нулевым средним и с дискретным временем. Тогда на единичной окружности существует такая случайная мера Z с ортогогональными приращениями, что

2

X

m

Заметим, что по любой возрастающей функции F на [ ; ) можно построить случайную меру Z с ортогональными приращениями с гауссовскими распределениями, такую, что F ( ) = EZ2( ). Это следует из теоремы Колмогорова о совместных распределениях.

Введем пространство H2 замыкание Linf n : n 2 Zg в метрике, заданной скалярным произведением

( ; ) := E( ):

Одновременно рассмотрим функцию F ( ), существование которой следует из теоремы Бохнера и которая определяется соотношением

Z Z

K(n) = ei ndF ( ); E( m n) = K(m n) = ei (m n)dF ( ):

[ ; ) [ ; )

Рассмотрим отображение : n ! ei n, которое является изометричным отображением H2 в пространство L2([ ; ); dF ). Легко видеть (??1), что это отображение изометрично, а согласно теореме Стоуна Вейерштрасса образ этого отображения всюду плотен. Обратное отображение переводит функции I[0; ) в некоторые случайные величины Z( ). Ортогональность приращений Z( ) Z( ); Z( ), 0 < < следует из ортогональности функций I[0; ) и I[ ; ) в пространстве L2([ ; ); dF ).

Функция F может являться интегралом от некоторой функции f, которая называется спектральной плотностью. Как находить спектральную плотность для некоторых случайных процессов, задаваемых некоторыми условиями, не используя обратное преобразование Фурье? Надо начинать от простейшего стационарного процесса n, состоящего из независимых N(0; 1)- нормальных случайных величин. В этой ситуации

Легко видеть, что спектральная плотность n имеет вид f( ) = 1=2 , так как из теории рядов Фурье известно, что функции ei n ортогональны для разных n относительно меры d . Так как все точки спектра с равной интенсивностью входят в спектр, процесс n называется процессом белого шума. Для этого процесса задача прогноза не имеет смысла, так как будущее не зависит от прошлого и настоящего, следовательно, и прогноз не будет зависеть от прошлого и настоящего.

Теперь посмотрим, что происходит со спектральной плотностью f' процесса при линейном преобразовании произвольного процесса 'n. А именно, от процесса 'n мы переходим к процессу n = a0'n + a1'n 1 + ::: + ak'n k. Однако при построенном ранее отображении случайные

221

величины n переходят в функции a0ei n + a1ei (n 1) + ::: + akei (n k), в частности, 0 переходит в функцию a0ei 0 + a1ei ( 1) + ::: + akei ( k), тогда корреляционная функция процесса n также интерпретируется как скалярное произведение этих функций и будет иметь вид

Z

K (n) = ei nf ( )d =

[ ; )

Z

=(a0ei n + a1ei (n 1) + ::: + akei (n k))(a0ei 0 + a1ei ( 1) + ::: + akei ( k))f'( )d =

[ ; )

Z

2

=ei n a0ei 0 + a1ei ) + ::: + akei k f ( )d :

[ ; )

Отсюда немедленно следует соотношение между f' и f :

нейным образом записываются через заданный процесс белого шума n, все три процесса мы будем обозначать одной и той же буквой .

Процесс скользящего среднего это n = a0 n + a1 n 1 + ::: + ak n k. Согласно сказанному

Замечание. Не для любого набора (an) существует процесс n. Например, если a0 = 1, a1 = 1, an = 0 для n > 1, то складывая соотношения для n получаем n + ::: + 1 = n 0, D( n 0) = n ! 1. Это следует также из неинтегрируемости функции f ( ) в (2)(??2)

Процесс смешанного типа это n такой, что n = a0 n + a1 n 1 + ::: + ak n k, где n = b0 n + b1 n 1 + ::: + bs n s. Аналонично предыдущим двум случаям, в этой ситуации

Задача прогноза. Теперь мы рассмотрим задачу прогноза для стационарного случайного процесса. Идея прогноза (для простоты рассмотрим прогноз на один шаг) состоит в ортогональном проектировании случайной величины 1 на замыкание линейной оболочки случайных величин 0; 1; :::. Действительно, как хорошо известно из геометрии, при ортогональном проектировании мы получаем элемент, находящийся от проектируемого на минимальном расстоянии. В результате проектирования мы получим вообше говоря бесконечную линейную комбинацию c0 0 +c1 1 +:::. На практике это используется следующим образом: из полученных нами в результате наблюдения или эксперимента чисел 0(!); 1(!); ::: мы составляем линейную комбинацию c0 0(!) + c1 1(!) + :::. Полученное число будет нашим прогнозом.

Мы будем рассматривать задачу прогноза для простоты при условии 0 < C1 f ( ) C2 < 1. (??3 Почему это условие выполняется для функций из (3))?). (??4 Где это условие дальше используется?). Чтобы облегчить ситуацию, задача переносится на пространство

222

L2([ ; ); f ( )d ), в этом пространстве мы проектируем функцию ei на замыкание линейной оболочки функций ei 0, ei ( 1), ei ( 2),..., в результате получаем функцию прогноза g( ) = c0 1 + c 1ei ( 1) + c 2ei ( 2) и нужные нам коэффициенты c i, i = 0; 1; 2; :::. Иногда можно получить точные формулы для коэффициентов. Идея состоит в переходе из пространства L2([ ; ); f ( )d ) в пространство L2([ ; ); f ( )d ), в котором все просто, все функции ei k ортогональны при разных k.

Введем несколько линейных подпространств пространства L2([ ; ); d ):

h 0 является замыканием линейной оболочки функций ei n, где n 0, h>0 является замыканием линейной оболочки функций ei n, где n > 0. Хотя сами функции ei n непрерывны, функции из пространств h 0 и h>0 могут не быть непрерывными. Более того, каждый элемент L2([ ; ); d ) однозначно раскладывается в виде суммы элемента из h 0 и элемента из h>0. Эти подпространства ортогональны в смысле скалярного произведения пространства L2([ ; ); d ) (но не в смысле пространства L2([ ; ); f ( )d ));

C 0 (соответственно, C 0) пространства непрерывных функций, являющихся равномерными пределами конечных линейных комбинаций функций ei n, где n 0 (соответственно, n 0). Разумеется, эти пространства незамкнуты в L2([ ; ); d ). Более того, эти пространства являются не только линейными пространствами, но и алгебрами. Действительно, произведения функций ei n, где n 0, также являются функциями ei n, n 0, поэтому произведения конечных линейных комбинаций таких функций также являются конечными линейными комбинациями такого же вида. Переход к равномерному пределу приводит нас к функциям из C 0. Пространства C 0 и C 0 полны относительно используемой для них нормы kfk1 = maxt jf(t)j (??5).

Нам понадобятся и другие аналогичные утверждения: i) произведение функции из h 0 и функции из C 0 принадлежит h 0, ii) произведение функции из h>0 и функции из C 0 принадлежит h>0. Оба утверждения проверяются одинаково, проверим i). Заметим (??6), что если fn ! f в h 0, gn ! g в C 0, то fngn ! fg в h 0. Это доказывается элементарными оценками (??7).

Теперь мы займемся самой задачей прогоноза на один шаг: прогноз на один шаг для процесса n по данным n, n 0, обозначим через . Но мы процесс перевели в L2([ ; ); f ( )d ), в частности, n, n 0, превратились в функции ei n, n 0, а функция, в котороую превращается прогноз , мы обозначим g, разность значения процесса в момент 1 и прогноза для этого значения превращается в ei g( ). Итак,

223

Более того, используя утверждение i) (??10) мы получаем

gf1 2 h 0; h 2 h>0:

Таким образом, алгоритм нахождения наилучшего прогноза оказывается следующим (?11): надо взять функцию ei f1 и разложить ее в ряд Фурье по степеням ein , n 2 Z. Часть ряда, принадлежащая h 0, образует функцию gf1, разделив эту функцию на f1, получаем g.

Последнее, что надо сделать показать, что спектральная плотность вида (3) удовлетворяет условию факторизации. Заметим, что из принятых выше соглашений следует, что числитель и знаменатель (3) не имеют корней на [ ; ). Итак (??12), дробь (3) представляется в виде

где C положительная константа, zk, uj корни соответствующих (??13) многочленов, не равные 1. Легко видеть, что все числа zk, uj можно считать по абсолютной величине строго больше 1 (??14 Где это потом используется?). Действительно, если jzkj < 1, мы можем заменить соответствующие два множителя (изменяя при этом C), используя следующее равенство:

(zk ei )(zk e i ) = (zke i 1)(zkei 1)ei e i = (e i 1 )(ei 1 )jzkj2: zk zk

(??15. Как же так? Ведь согласно основной теореме алгебры, разложение на элементарные множители единственно.) Итак, мы считаем условие на абсолюные величины выполненными и можем теперь выписать f1 и f2:

геометрической прогрессии разлагается в ряд по степеням e ik , k 0, который сходится

Добавление (не надо дальше учить).

Простейшая форма некоторая определенная функция f(x) + t, где t стационарный случайный процесс.

Процесс с комплексными значениями и ковариация такого стационарного процесса. Мотивация процесс cos(at) заведомо нестационарный. Но если добавить i sin(at), получится заведомо стационарный процесс eiat. Если время дискретно, то a 2 [0; 2 ). Задача оптимального выбора f(x). Процесс белого шума в дискретном случае. Почему белый?

3. Безгранично делимые распределения

Определение 1. Безгранично делимое распределение вероятностей P на числовой прямой это такое распределение, что для любого натуральногого n существуют одинаково распределенные независимые случайные величины 1,..., n, что

P = P 1+:::+ n :

224

Представление Леви для характеристической функции ' произвольного безгранично делимого распределения:

где G неубывающая ограниченная функция, действительная постоянная, а подынтегральная функция в точке x = 0 считается равной t2=2.

Теорема. Функция G; является характеристической функцией безгранично делимого распределения.

Доказательство. Так как

является характеристической функцией распределения. Доказательство положительной определенности этой функции представляется доволно трудным, поэтому проще показать, что эта функция является пределом последовательности характеристических функций. Мы заменим интеграл (6) на верхнюю и нижнюю часть и каждую из них представим как предел интегралов по отрезку, а каждый из них как предел интегральных сумм.

Соответственно, eTnk является характеристической функции сдвинутого на ank распределения Пуассона с параметром nk и шагом bnk (а не 1, как у классического распределения Пуассона).

Определение 2. Последовательность fXnk : k kng серий независимых случайных вели-

Теорема 2. Пусть последовательность fXnk : k kng удовлетворяет условию бесконечной малости, некоторое положительное число. Обозначим через Fnk функции распреде-

225

Тогда

kn

X L

Xnk ! '

k=1

тогда и только тогда, когда

L

Gn ! G; n ! :

Доказательство. Обозначим характеристическую функцию Xnk через 'nk, характеристи-

показывает, что доказательство сводится к доказательству двух сходимостей:

a)Gn; n (t) ! G; (t) для всех t 2 R,

b)j Gn; n (t) 'n(t)j ! 0 для всех t 2 R.

Первое утверждение является самостоятельным фактом теоремой о сходимости характеристических функций. Впрочем, для полноты доказательства нам нужно доказать еще слабую компактность семейства распределений fPng.

226

НЕОБХОДИМЫЕ СВЕДЕНИЯ ИЗ ДРУГИХ МАТЕМАТИЧЕСКИХ КУРСОВ

Анализ

Производная сложной функции Критерии Коши сходимости последовательности и ряда Критерий "-милиционеров

Критерий сходимости ряда в терминах абсолютно сходящегося ряда Равномерная непрерывностоть и теорема Кантора Компактность отрезка на числовой прямой Интегральные суммы Римана Стильтьеса Преобразование Фурье

Линейная алгебра

Дополнение ортонормированной системы до ортонормированного базиса Ортогональная матрица Неотрицательно определенная квадратичная форма

Сумма квадратов как произведение вектора-строки на вектор-столбец Вращение и сумма квадратов координат

Теория меры

Продолжение меры с полуалгебры на алгебры, с алгебры на -алгебру Эквивалентность счетной аддитивности и непрерывности для конечно аддитивной функции

множеств на алгебре Определение интеграла Лебега по вероятностной мере

Теорема Лебега для сходимости по вероятности Теорема Радона Никодима

Функциональный анализ

Теорема Банаха о неподвижной точке Теорема Брауэра о неподвижной точке

Комплексный анализ

Интеграл по замкнутому контуру

Дифференциальные уравнения

Метод вариации постоянной. Уравнения с частными производными.

227

РЕКОМЕНДУЕМАЯ ЛИТЕРАТУРА

по курсам ’Теория вероятностей’, ’Математическая статистика’, ’Случайные процессы’

для специальности ’Математика’

Учебники

1.А.А. Боровков. Теория вероятностей. Наука, 1976.

2.А.А. Боровков. Математическая статистика. Оценка параметров. Проверка гипотез. Наука, 1984.

3.А.В. Булинский, А.Н. Ширяев. Теория случайных процессов. Физматлит, 2003.

4.А.Д. Вентцель. Курс теории случайных процессов. Наука, 1975.

5.И.Н. Володин. Лекции по теории вероятностей и математической статистике. Изд-во КГУ. 2006. 271 с.

6.И.Н. Володин, О.Е. Тихонов, Е.А. Турилова. Математические основы вероятности. Издво КГУ, 2006. 163 с.

7.Б.В. Гнеденко. Курс теории вероятностей. М. Наука, 1969.

8.И.И. Гихман, А.В. Скороход. Введение в теорию случайных процессов. Наука. 1967. 567

с.

9.Г.И. Ивченко, Ю.И. Медведев. Математическая статистика. Изд-во Высшая школа. 1984, 248 с.

10.Г.П. Климов. Теория вероятностей и математическая статистика. Изд-во МГУ. 1983. 328

с.

11.М.В. Козлов, А.В. Прохоров. Введение в математическую статистику. Изд. МГУ, 1987.

12.Г.Крамер. Математические методы статистики. Мир, 1976.

13.М.Б. Лагутин. Наглядная математическая статистика. М.: БИНОМ. Лаборатория знаний. 2007. 472 с.

14.Методические разработки по специальному курсу ’Многомерный статистический анализ’ (составитель С.В. Симушкин). Изд-во КГУ. 2006. 96 с.

15.Д.Х. Муштари. Вероятность, математическая статистика, случайные процессы. Электронное учебное пособие. Site KGU: http//www.ksu.ru. 188 с.

16.Ю.А. Розанов. Теория вероятностей, случайные процессы и математическая статистика. Главная редакция физико-математической литературы, 1985.

17.Б.А. Севастьянов. Курс теории вероятностей и математической статистики. М. Наука,

1982.

18.В.Н. Тутубалин. Теория вероятностей. Изд-во МГУ, 1972.

19.А.Н..Ширяев. Вероятность. Наука, 1980.

20.R. Bhattacharya, E.C. Waymire. A Basic Course in Probability theory. Springer. Universitext. 2007. ix+211.

21.L.C. Evans. An Introduction to Stochasstic Di erential Equations. Version I,2. University Berkeley. 139 p.

22.Jun Shao. Mathematical Statistics. Springer. 2003. xvi+591.

23.D. Kannan. An Introduction to Stochastic Processes. North Holland, 1979. xiii + 296 p.

24.O. Knill. Probability. 1994. 227 p. (электронный курс лекций для студентов Калифорниййского технологического института).

25.L.B. Koralov, Ya.G. Sinai. Theory of Probability and Random Processes. Springer. Universitext. 2007. xi + 353 p.

Задачники

26.А.М. Зубков. Сборник задач по теории вероятностей. Изд. МГУ.

27.Л.Д. Мешалкин. Сборник задач по теории вероятностей. Изд. МГУ. 1963.

228

28.Практические занятия по теории вероятностей (И.И. Адгамов, Д.Х. Муштари). Методическое пособие. Изд. КГУ, 1989. 38 c.

29.А.В. Прохоров, В.Г. Ушаков, Н.Г. Ушаков. Задачи по теории вероятностей. Наука. 1986.

30.Б.А. Севастьянов, В.П. Чистяков, А.М. Зубков. Сборник задач по теории вероятностей. Наука. 1983.

31.А.В. Сульдин, Е.А. Беговатов, С.В. Григорьев. Сборник задач по теории вероятностей

иматематической статистике. Изд. Казанского университета. Казань. 1980. 94 с.

32.Д.М. Чибисов, В.И. Пагурова. Задачи по математической статистике. Изд. Московского университета. 1990. 171 с.

33.Jun Shao. Mathematical Statistics: Exercises and Solutions. Springer. 2005.xxviii+359.

Справочники

34.Л.Н. Большев, Н.В. Смирнов. Таблицы математической статистики. М. Наука, 1983.

35.Энциклопедия ’Вероятность и математическая статистика’ (Гл. ред. – Ю.В. Прохоров).

М.Большая Российская Энциклопедия, 1999.

Монографии

36.Г.П. Климов. Инвариантные выводы в статистике. Изд-во МГУ. 1973. 186 с.

37.Д. Лоули. А. Максвелл. Факторный анализ как статистический метод. Библиотека сборника ’Математика’. Изд. ’Мир’. М. 1967. 144 с.

38.А.Н. Ширяев. Основы стохастической финансовой математики. Том 1. Факты. Модели, Том 2. Теория. Изд. ’Фазис’. 1998.

229

ЭКЗАМЕНЫ И ЗАЧЕТЫ

Экзамен по теории вероятностей

ПРОГРАММА Частотная интерпретация вероятности. Вероятностное пространство. Теория вероятностей

и теория меры (сравнение обозначений и терминологий).

СОБЫТИЯ. Классическая модель. Различные варианты выборок. Задача о k гербах в n экспериментах. Модели Больцмана Максвелла (полиномиальная) и Бозе Эйнштейна. Геометрическая модель.

Формула сложения. Условная вероятность и независимость. Формула умножения. Задача о распаде атома. Формулы полной вероятности и Байеса. Пример на контроль качества. Задача о разорении игрока.

Независимость. Условная независимость. Эквивалентные определения независимости в совокупности. Операции с независимыми событиями. Примеры: электрическая цепь и пример Бернштейна.

Модель Бернулли. Предельная теорема Пуассона.

Независимые полуалгебры и алгебры. Связь счетной аддитивности и непрерывности. Независимость -алгебр и теорема о монотонных классов.

СЛУЧАЙНЫЕ ВЕЛИЧИНЫ. Случайные величины и их распределения на борелевской - алгебре. Два определения случайной величины (прообразы борелевских множеств и прообразы интервалов), их эквивалентность. Борелевская функция случайной величины - случайная величина. Свойства функции распределения (в частности, непрерывность вероятностной меры). Примеры распределений (Бернулли, биномиальное, Пуассона, нормальное, равномерное, экспоненциальное). Вывод плотности нормального распределения с произвольными параметрами. Связь функции распределения и функции плотности. Распределения квадрата и экспоненты.

Случайные векторы и наборы случайных величин. Распределения случайных векторов (совместные распределения случайных величин). Связь совместной функции распределения и совместной функции плотности. Задача о плотности распределения проекции случайного вектора. Задание распределения по совместной функции распределения.

Независимые случайные величины. Эквивалентность двух определений независимости случайных величин. (в частности, операции с независимыми событиями, сохраняющие независимость). Функции нескольких независимых случайных величин и теорема о монотонных классах. Независимость на языке совместной плотности для непрерывного случая.

Распределения, связанные с набором независимых нормальных случайных величин: Коши, хи-квадрат (с выводом), Стьюдента.

Многомерное нормальное распределение (вводится только невырожденное). Стандартное нормальное распределение.

Лемма о вращении стандартного нормального случайного вектора.

Среднее и его свойства. Доказательства (Формула замены переменной. Среднее произведение независимых случайных величин). Вычисление среднего в случае дискретного или непрерывного распределений. Дисперсия и ее свойства. Вычисление среднего и дисперсии для некоторых распределений (биномиальное, нормальное, равномерное, Пуассона, 2, Стьюдента). Пример отсутствия среднего. Моменты и другие характеристики.

Неотрицательная определенность матрицы вторых моментов. Коэффициент корреляции и его свойства. Связь с независимостью. Случай совместного нормального распределения. Пример двух зависимых симметричных случайных величин со значениями в f0; +1; 1g с нулевым коэффициентом корреляции. Функция регрессии (случай константы, дискретной случайной величины, совместной функции плотности и нормального распределения).

ПОСЛЕДОВАТЕЛЬНОСТИ СЛУЧАЙНЫХ ВЕЛИЧИН. Сходимость по вероятности. Неравенство Чебышева. Слабый закон больших чисел. Применение к частоте события. Метод МонтеКарло.

Лемма Бореля Кантелли. Критерий Коши сходимости ряда почти наверное. Неравенство

230