Курс_лекций_по_теории_случайных_процессов

Российский университет дружбы народов

В.В. Рыков

ТЕОРИЯ СЛУЧАЙНЫХ ПРОЦЕССОВ

Конспект лекций

Москва, 2008

2

Настоящее издание представляет собой конспект лекций, читавшихся в течение ряда лет студентам специальности “Прикладная математика и компьютерное моделирование” Российского государственного университета нефти и газа им. И.М. Губкина и студентам специальности “Теория вероятностей и математическая статистика” Российского университета дружбы народов.

Материал основан на традиционных курсах теории случайных процессов. Некоторой особенностью данного курса, ориентированного на студентов специальности “Прикладная математика и информатика” является замена полных доказательств некоторых фундаментальных теорем их комментариями, позволяющими уяснить особенности доказательства и обойти сложные громоздкие вычисления и показать наличие “тонких мест”, но не исследовать их досконально.

Основной единицей курса является параграф, поэтому нумерация формул, рисунков, таблиц, теорем и т.п. своя внутри каждого параграфа. При ссылках на формулы из других параграфов используется двойная нумерация. В конце каждого параграфа приведены вопросы для самоконтроля, упражнения, задачи и краткие библиографические комментарии.

Часть задач подготовлена В.А. Кокотушкиным, которому выражаю свою признательность. В подготовке и оформлении текста большую помощь мне оказал Д.В. Козырев, которому приношу свою особую признательность.

Глава 1.

Введение

§1. Основные понятия

1.1.Предмет теории случайных процессов. Примеры

Многие физические, технические, экономические, социальные и другие явления подвержены случайным изменениям. Поэтому наблюдения за ними - это наблюдения случайных величин или случайно изменяющихся состояний. Аналогично теории вероятностей, теория случайных функций (или процессов) является математической дисциплиной, занимающейся изучением случайных явлений, однако в отличие от первой она исследует эти явления в динамике, как изменяющиеся во времени, пространстве или ином процессе. Как и в теории вероятностей динамические случайные явления исследуются с помощью математической модели ( ; F; P), где пространство элементарных событий !, F семейство наблюдаемых событий и P вероятностная мера. Однако в отличие от теории вероятностей элементарные события (или исходы эксперимента) являются наблюдениями за динамически развивающимися случайными явлениями и первоначально возникают как абстракция непосредственных наблюдений за изучаемым явлением или возможных состояний рассматриваемого объекта. Примерами таких наблюдений могут служить (в приводимых ниже примерах и далее через R обозначается числовая прямая R = ( 1; 1)):

последовательность ! = fxn; n = 1; 2; : : : g наблюдений за пробегом автомобиля, расходом электроэнергии некоторого предприятия, дебитом нефтяной или газовой скважины и т.п.;

моменты ! = fti; i = 0; 1; 2; : : : g отказов некоторого технического устройства;

число запросов ! = fn(t); t 2 Rg, ожидающих обработки в АСУ в зависимости от времени;

мощность отраженного радиосигнала ! = fx(t); t 2 Rg в дальней космической связи или отраженного импульса ! = fy(t; x); t 2 R; x 2 R3g при геофизических исследованиях, измеренная в различных точках x = (x1; x2; x3) пространства R3 и времени t 2 R;

расположение частиц некоторой системы (например, центров месторождений полезных ископаемых) ! = fxi = (x1i ; x2i ; x3i ); i = 1; 2; : : : g в пространстве и.т.п.

Проблемы фактического задания случайных процессов и построения вероятностного пространства произвольного случайного процесса или, как говорят, его канонического вероятностного пространства будут рассмотрены в конце настоящего параграфа, в следующем разделе будет дано формальное определение случайных функций, приведены их первичная классификация, терминология и введены основные обозначения.

1.2.Определение и классификация случайных функций. Терминология и обозначения

В отличие от теории вероятностей в теории случайных функций (с.ф.) изучаются семейства случайных величин (с.в.) X = fX(t); t 2 T g, заданных на одном и том же вероятностном пространстве ( ; F; P) и зависящих от некоторого параметра t, принимающего значения в данном множестве T .

Определение 1.1. Семейство с.в. X = fX(t); t 2 T g, заданных на одном и том же вероятностном пространстве ( ; F; P), зависящих от некоторого параметра t из заданного множества T , и принимающих значения в некотором другом фиксированном множестве E, называется случайной функцией (с.ф.), при этом множество T называется параметрическим множеством, а множество

E множеством значений с.ф.

Это определение оправдывается тем соображением, что если множество значений с.ф. совпадает с действительной прямой, E = R, то при заданном элементарном событии ! 2 отображение x = X(!) : T ! R представляет собой функцию x = fx(t); t 2 T g в обычном смысле, которая называется реализацией случайной функции X = fX(t); t 2 T g.

Параметр t 2 T может принимать числовые значения из счетного или непрерывного множества и иметь смысл времени, местоположения или принимать значения в более сложных множествах. В связи с этим используются различные специальные понятия для случайных функций. Если множество T = N = f0; 1; 2; : : : g представляет собой множество натуральных чисел, то X = fX(n); n 2 Ng называется случайной последовательностью и обозначается X = fXn; n 2 Ng. Если T является действительной прямой T = R = ( 1; +1) или ее интервалом вида (a; b), [a; b),

(a; b] или [a; b], 1 a < b +1, и интерпретируется как время, то с.ф. X = fX(t); t 2 T g называется случайным процессом (с.п.), при этом ее реализация называется траекторией с.п. Если параметрическое множество T представляет собой многомерное, скажем, евклидово пространство T = Rd или его подмножество, например, единичный куб T = [0; 1]d, то fX(t); t 2 T g называется случайным полем. Возможны также параметрические множества более сложной структуры, например, T может быть системой всех борелевских подмножеств. d-мерного евклидова пространства T = Rd. Счетно-аддитивная с.ф. X = fX(B); B 2 Rdg с -алгеброй в качестве параметрического множества называется случайной мерой.

с.ф. fZ(t); t 2 T g с Z(t) = X(1)(t) + iX(2)(t) называется комплекснозначной (или комплексной) с.ф.

В дальнейшем мы ограничимся в основном изучением случайных последовательностей и процессов, т.е. будем предполагать, что T = N = f0; 1; : : : g; T = R+1 = [0; 1), T = R1 = ( 1; 1).

Приведенное в начале данного раздела определение не конструктивно и мало что дает для конкретного задания с.п. В следующем разделе рассмотрим один из способов конкретного задания с.п., конструктивное его построение, а в следующем параграфе приведем основной способ его конкретного задания с помощью построения его канонического вероятностного пространства.

1.3.Конструктивное построение случайных функций

Определение 1.2. Конструктивно заданной будем называть с.ф., функционально или алгоритмически определенную на заданном вероятностном пространстве ( ; F; P). Для пояснения этого понятия рассмотрим два примера.

Пример 1. Время жизни (исправной работы) сложного технического устройства зависит от многих факторов и может рассматриваться как случайная величина X. Если отказаться от исследования зависимости свойств с.в. X от различных производственных и эксплуатационных факторов и предположить функцию распределения (ф.р.) F ( ) с.в. X известной (например, из статистических данных), то в качестве вероятностного пространства этой модели можно рассмотреть множество неотрицательных действительных чисел = R+ с борелевской -алгеброй R на нем в качестве измеримых множеств F = R и вероятностной мерой P, определяемой как продолжение меры, задаваемой на полуинтервалах = [0; x) соотношением

P( ) = P([0; x)) = F (x):

При этом с.в. X, определяемая тождественным отображением X(!) = X(x) = x, имеет исходное

распределение,

FX(x) = PfX < xg = P([0; x)) = F (x):

Построенное таким образом вероятностное пространство ( ; F; P) назовем вероятностным пространством (или вероятностной моделью) с.в. X. Обозначим через X(t) остаточное время жизни устройства, которое уже эксплуатируется в течение времени t. С.п. X = fX(t); t 2 T g, определенный на T = R+ = [0; 1) соотношением

является конструктивно заданным и играет важную роль в теории надежности.

Пример 2. Рассмотрим затухающее колебание

где > 0; # > 0 параметры, имеющие смысл частоты и декремента затухания рассматриваемого процесса. Пусть (X; Y ) двумерный случайный вектор, заданный своим распределением F (x; y). Например, X может быть случайным временем отклика сейсмического импульса, а Y его случайной амплитудой. Тогда с.п.

X(t) = f(t X; Y )

описывает изменение во времени отклика на единичный сейсмический импульс.

1.4.Дополнения

Вопросы для контроля.

1.Чем занимается теория с.п.?

2.Приведите собственные примеры элементарных событий при наблюдении за с.п.

3.Дайте определения:

4.Что такое реализация с.ф. и траектория с.п. и чем они отличаются?

5.Что значит конструктивно построить с.ф.?

Упражнения.

1.Нарисуйте траектории с.п. X из примера 1.

2.Вычислите распределение остаточного времени жизни в момент t; Ft(x) = PfX(t) < xg:

3.Нарисуйте траектории процесса X в примере 2.

4.Вычислите распределение числа пересечений заданного уровня a процессом X из примера

2.

5.Пусть вероятностным пространством ( ; F; P) является единичный отрезок с борелевской

-алгеброй и мерой Лебега, = [0; 1]; F = B[0; 1]; P = , а множество значений параметра также есть отрезок T = [0; 1]. Пусть с.ф. X = fX(t; !)g задана на этом вероятностном пространстве соотношениями:

Нарисуйте реализации этих с.ф.

6. Пусть с.в. X задана своим распределением F (x); X 2 F (x). Постройте траектории, вычислите ф.р. времени первого достижения заданного уровня c и числа пересечений этого уровня за определенное время t для функций из предыдущего упражнения, если:

а) F (x) равномерное на отрезке [a; b] распределение,

б) F (x) показательное распределение с параметром ,

в) F (x) нормальное распределение с параметрами ; 2.

7. ([23]) Пусть с.п. X(t) задан на вероятностном пространстве ( ; F; P), где = f1; 2g, F множество всех подмножеств , а P приписывает вероятности 1/2 множествам {1} и {2}. Пусть множество значений параметра t есть отрезок [0, 1] и X(t) = !t. Найдите:

а) все реализации процесса X(t);

б) одномерное и n мерные распределения процесса X(t).

8.([23]) Пусть Y с.в. с ф.р. F (x); t 2 R. Найдите все конечномерные распределения с.п.

X(t) = Y + t.

9.Нарисуйте траектории с.п. X(t) = Y sgn (cos Y t) для с.в. Y из предыдущего упражнения.

Задачи.

1. С.п. X(t) определен формулой X(t) = min(Y; t); t > 0; Y с.в., распределение которой задано. Требуется:

1)описать множество траекторий;

2)найти ф.р. Ft(x) = PfX(t) < xg;

3)найти числовые характеристики случайного процесса X(t) (математическое ожидание MX(t) и дисперсию DX(t)), если:

а) С.в. Y имеет равномерное распределение на [0; a].

б) С.в. Y имеет экспоненциальное распределение с параметром .

в) Плотность распределения (п.р.) с.в. Y равна

(В п. 3 ограничиться нахождением MX(t)).

д) Плотность распределения с.в. Y равна

(В п. 3 ограничиться нахождением MX(t)).

е) Плотность распределения с.в. Y равна

:

2. Случайный процесс X(t) определен формулой X(t) = ln(1 + Y t), t > 0; Y с.в., распределение которой задано (функция распределения Y равна GY (y). Требуется:

1)описать множество траекторий;

2)найти ф.р. Ft(x) = PfX(t) < xg;

3)найти математическое ожидание MX(t) и дисперсию DX(t),

если случайная величина Y имеет равномерное распределение на отрезке [0, 1].

Библиографические замечания.

С основными понятиями теории случайных процессов можно познакомиться в любом учебнике (см., например, [1] [4], [16]). Изложение материала заимствовано отчасти из [13], [14].

§2. Каноническое вероятностное пространство

2.1.Конечномерные распределения

В этом пункте ограничимся для простоты исследованием случайных процессов, то есть случайных функций, заданных на прямой, T = R1, с действительными значениями, E = R1 = R. Общий случай анализируется аналогичным образом. Решение вопроса о построении с.п. в рассматриваемом случае начнем с анализа понятия с.п. Пусть задан с.п. X = fX(t); t 2 Rg. Это значит, что для любых n, набора моментов времени t1; t2; : : : ; tn и любых борелевских множеств B1; B2; : : : ; Bn можно вычислить (по крайней мере, в принципе) совместное распределение вектора (X(t1); : : : ; X(tn)),

Pt1;:::;tn (B1; : : : ; Bn) = PfX(ti) 2 Bi; i = 1; ng

Определение 2.1. Семейство распределений Pt1;:::;tn (B1; : : : ; Bn) при всевозможных значениях n; t1; : : : ; tn и B1; : : : ; Bn называется семейством конечномерных распределений (к.м.р.) процесса. К.м.р. определяют конечномерные функции распределения (к.м.ф.р.):

Ft1;:::;tn (x1; : : : ; xn) = Pt1;:::;tn (( 1; x1); : : : ; ( 1; xn)) :

Как функции распределения, функции Ft1;:::;tn (x1; : : : ; xn) монотонны по каждому из аргумен-

тов xi; i = 1; n, непрерывны справа по этим аргументам и принимают значения из отрезка [0; 1]. Кроме того, они обладают свойствами, содержащимися в следующей теореме.

Теорема 2.1. К.м.ф.р. с.п. обладают свойствами:

Замечание 1. К.ф.м.р. играют для с.п. ту же роль, что и ф.р. для с.в., они содержат в себе, как станет видно из дальнейшего, всю информацию о процессе.

Определение 2.2. С.п., к.м.р. которых совпадают называются эквивалентными.

2.2. Теорема Колмогорова

Основной способ задания с.п. состоит в построении его канонического вероятностного пространства и опирается на теорему Колмогорова.

Теорема 2.2. [Колмогоров, [18]] Для всякого семейства ф.р., удовлетворяющих условиям симметрии и согласованности, существует вероятностное пространство ( ; F; P) и с.п. X = fX(t) t 2 T g на нем такие, что заданные функции являются его семейством к.ф.м.р. Другими словами, всякое семейство симметричных согласованных ф.р. определяет с.п. однозначно с точностью до эквивалентности.

Комментарий. Строгое доказательство использует ряд фундаментальных фактов теории меры (таких, как теорему о продолжении меры); его можно найти в учебнике А.Д. Вентцеля [3], стр. 89-91. Здесь приведем лишь схему рассуждений.

В качестве пространства элементарных событий рассмотрим множество всех функций ! = fx(t)g : R ! R, так что = RR; определим -алгебру F как -замыкание цилиндрических множеств Ct1;:::;tn (1; : : : ; n) вида:

Ct1;:::;tn (B1; : : : ; Bn) = f! = x( ) : x(ti) 2 Bi; ti 2 R; Bi 2 B; i = 1; ng:

Определим меру “простых цилиндров”

Ct([a; b)) = f! = x( ) : a xt < bg

соотношением P(Ct([a; b))) = Ft(b) Ft(a); распространим ее “естественным образом” на алгебру всех цилиндрических множеств и определим вероятностную меру P на F как продолжение этой меры.

Процесс X = fX(t); t 2 T g, задаваемый координатным отображением X(t; !) = X(t; x( )) = x(t), обладает указанными в теореме свойствами.

Определение 2.3. Построенное в теореме вероятностное пространство ( ; F; P) называется каноническим вероятностным пространством с.п. Вычисленные по мере P математическое ожидание и дисперсия обозначаются через M и D соответственно. Функции

называются функциями математического ожидания, дисперсии и ковариационной функцией процесса соответственно.

Чтобы продемонстрировать применение теоремы Колмогорова рассмотрим в качестве примера гауссовский случайный процесс.

2.3.Пример: гауссовский процесс

Важную роль во многих прикладных вопросах играют случайные функции, для которых семейство конечномерных распределений состоит из гауссовских (нормальных) распределений. Напом-

ним, что векторная с.в. X = (X1; : : : ; Xn)0 имеет гауссовское распределение, если ее характеристическая функция f(s) = f(s1; : : : ; sn) = Meis0 X представима в виде

f(s) = Meis0 X = expfi~0 s) 12s0Csg;

произведение векторов s и X. Здесь ~ = ( 1; : : : ; n)0 2 Rn вектор математических ожиданий векторной с.в. X, а C = [cjk] его ковариационная матрица, которая является неотрицательно определенной вещественной симметричной матрицей с элементами

cjk = M[(Xj j)(Xk k)] = MXjXk j k:

Если ковариационная матрица C гауссовского случайного вектора X невырождена, то плотность его распределения p(x) = p(x1; : : : ; xn) можно записать в виде:

где det C определитель матрицы C, а C 1 матрица, обратная C.

Определение 2.4. Вещественная случайная функция X = fX(t); t 2 Rg называется гауссовской, если все ее к.м.р. являются гауссовскими. При этом функция (t) = MX(t) называется его

функцией математического ожидания, а функция C(s; t) = M[(X(s) (s))(X(t) (t))] его ковариационной функцией.

В упражнениях 4, 5 следующего раздела предлагается доказать существование гауссовского процесса и показать, что он задается двумя функциями функцией математического ожидания(t) и ковариационной функцией C(s; t).

2.4.Дополнения

Вопросы для контроля.

1.Дайте определение к.м.р. и к.м.ф.р.

2.Сформулируйте свойства к.м.ф.р.

3.Что такое эквивалентные с.п.?

4.Сформулируйте теорему Колмогорова.

5.Дайте определение гауссовского с.п.

Упражнения.

1.Докажите теорему 2.1.

2.Постройте вероятностную модель для процесса X из примера 1.2.

3.Вычислите меру двумерных цилиндров с прямоугольными основаниями в теореме Колмогорова.

4.Выпишите конечномерные плотности распределения гауссовского процесса по его функции математического ожидания и ковариационной функции.

5.Проверьте условие симметрии и согласованности к.м.ф.р. гауссовского процесса.

6.Докажите существование гауссовских процессов.

7.Вычислите все двумерные распределения процесса для примера 1.1.

Задачи.

1. Пусть Y1, Y2, . . . , Yn совместно нормально распределенные с.в. Докажите, что с.п. X(t) =

P

Yi'i(t), где 'i(t) неслучайные функции, является гауссовским.

1 i n

2.Докажите, что существует гауссовский процесс X = fX(t); t > 0g, у которого MX(t) = 0

иcov(X(s); X(t)) = min(s; t). Запишите двумерную плотность распределения этого с.п., который называется стандартным винеровским процессом или процессом броуновского движения.

3.Для процесса X(t), определенного в задаче 2, найдите распределение приращений X(t)

X(s).

4. Для процесса X(t), определенного в задаче 2, докажите, что приращения X(t) X(s) и X(u) X(v) независимы при u < v < s < t.

5. Найдите n-мерную п.р. стандартного винеровского процесса, определенного в задаче 2.

Библиографические замечания. Теорема Колмогорова, которая и положила, фактически, начало теории случайных процессов, была опубликована впервые в его книге “Основные понятия теории вероятностей” в 1933 году (третье издание см. [18]). Теперь изложение этой теоремы содержится в любом учебнике по курсу теории случайных процессов (см., например, Вентцель [3] и др.).