Теория случайных процессов. Основные понятия и определения теории случайных процессов. Модели и характеристики случайных сигналов. Ч.1. Учебное пособи

Функция распределения. Функция распределения системы двух случайных величин – это вероятность совместного выполнения двух неравенств X < x и Y < y:

Геометрически это вероятность попадания случайной точки (X, Y) в бесконечный квадрат с вершиной (x, y).

Функция плотности вероятности. Распределение системы непре-

рывных величин обычно характеризуется плотностью распределения. Плотность распределения одной случайной величины выше опре-

делялась как предел отношения вероятности попадания на малый участок к длине этого участка при его неограниченном уменьшении.

Рассмотрим систему двух случайных величин (X, Y). На плоскости XOY выделим малый прямоугольник D со сторонами x и y ,

примыкающий к точке с координатами (x, y).

Вероятность попадания в этот прямоугольник определяется как

P((X , Y ) D ) = f1(x + x, y + y) − f1(x + x, y) − f1(x, y + y) − f1(x, y).

Разделим эту вероятность на площадь прямоугольника и перейдем

y→0

31

Если функция f1(x, y) непрерывна и дифференцируема, то правая часть выражения (1.8) представляет собой вторую частную смешан- ную производную функции f1(x, y) по x и y:

f (x, y) = ∂2 f1(x,y) = f ′′(x, y).

∂x∂y 1

Функция f(x, y) является плотностью распределения системы слу- чайных величин.

Геометрически это некоторая поверхность, называемая поверхно- стью распределения. Для двумерного случая эта функция f(x, y) явля- ется плоскостью, параллельной XOY. Спроектировав эту плоскость на XOY, получим кривую, в каждой точке которой плотность распределе- ния постоянна. Такие кривые называются кривыми равной плотности. Они представляют собой горизонтали поверхности распределения.

Для системы случайных величин элемент вероятности f(x, y)dxdy – ве- роятность попадания случайной точки в элементарный прямоугольник со сторонами dx, dy, примыкающий к точке (x, y). Эта вероятность равна объему элементарного параллелепипеда, ограниченного сверху поверх- ностью f(x, y) и опирающегося на элементарный прямоугольник dxdy.

Зависимые и независимые случайные величины. При изуче-

нии систем случайных величин всегда надо обращать внимание на степень и характер зависимости этих величин.

Случайная величина Y называется не зависимой от случайной ве- личины X, если закон распределения величины Y не зависит от того, какое значение приняла случайная величина X.

Зависимость между величинами можно охарактеризовать с помо- щью условных законов распределения.

Условным законом распределения величины Y, входящей в систе- му (X, Y), называется ее закон распределения при условии, что другая случайная величина X приняла определенное значение. Условный закон распределения можно задавать как функцией распределения, так и плотностью вероятности. Условная функция распределения обозначается как F(y/x). Условная плотность распределения – f(y/x).

Для непрерывных случайных величин условие зависимости Y от X можно записать в виде

f(y/x) = f2(y).

Если же Y зависит от X, то в виде

32

f(y/x) ≠ f2(y).

Зависимость или независимость случайных величин всегда вза- имны: если величина Y не зависит от X, то и величина X не зависит от Y. Исходя из этого можно дать такое определение независимых слу- чайных величин: случайные величины X и Y называются независи- мыми, если закон распределения каждой из них не зависит от того, какое значение приняла другая величина.

Условная вероятность определяется как вероятность одного со- бытия при условии, что произошло другое событие, принадлежащее тому же самому вероятностному пространству. Условная функция распределения вероятностей случайной величины X при условии, что произошло событие M, определяется выражением

F(x|M ) = P[X ≤ x / M ] = P{X ≤ x, M}, P(M ) > 0 ,

P(M )

где {X ≤ x, M} – событие, заключающееся в появлении любого из ис- ходов ξ таких, что X(ξ) ≤ x и ξ M, причем X(ξ) – значение случай- ной величины X, принимаемое ею, если исход опыта есть ξ.

Следовательно, можно сказать, что F(x / M) – функция распреде- ления вероятностей, обладающая всеми свойствами, присущими лю- бой функции распределения вероятностей. Поскольку событие M принадлежит пространству, на котором определена и случайная ве- личина X, то следует рассмотреть два варианта в зависимости от то- го, какая из двух величин – x или m – больше. Если x ≥ m, то при на- ступлении события X ≤ m обязательно наступает событие X ≤ x и P{X ≤ x, X ≤ m} = P{X ≤ m}. Таким образом:

F(x / M ) = P{X ≤ m} = 1, x ≥ m;

P{X ≤ m}

F(x / M ) = P{X ≤ x} = F(x) , x ≤ m.

P{X ≤ m} F(m)

Условная плотность вероятностей обладает всеми свойствами обычной:

1) f (x / M ) ≥ 0, − ∞ ≤ x ≤ ∞;

∞

2) ∫ f (x / M )dx = 1;

−∞

33

x

3) F(x / M ) = ∫ F(u / M )du;

−∞

x2

4) ∫ F(x / M )dx = P[x1 < X ≤ x2 |M ].

x1

Условная плотность вероятностей, как и обычная, может использовать- ся для определения условных математических ожиданий и дисперсий:

∞

M[g(X ) / M ] = ∫ g(x) f (x)|M )dx .

−∞

Числовые характеристики системы случайных величин. Вве-

дем числовые характеристики для системы двух случайных величин. Начальным моментом порядка k, s системы (X, Y) называется ма-

тематическое ожидание произведения X k на Y s:

αk ,s = M X k , Y s .

Центральным моментом порядка k, s системы (X, Y) называется математическое ожидание произведения k-й и s-й степеней соответ- ствующих центрированных величин:

где

Запишем формулы для вычисления моментов. Для дискретных случайных величин

i j

Для непрерывных случайных величин

34

∞∞

μk ,s = ∫ ∫ (x − mx )k ( y − my )s f (x, y)dxdy .

−∞ −∞

Помимо значений k и s, характеризующих порядок момента по отношению к отдельным случайным величинам системы, рассматри- вается еще суммарный порядок момента (k + s). Соответственно сум- марному порядку моменты бывают первые, вторые и т.д.

На практике применяются обычно только первые и вторые мо- менты. Первые начальные моменты – это математические ожидания случайных величин X и Y, входящих в следующую систему:

Совокупность математических ожиданий mx, my характеризует поло- жение системы. Геометрически это координаты средней точки на плоско- сти, вокруг которой происходит рассеивание точки с координатами (X, Y).

Рассмотрим вторые центральные моменты. Два из них – это дис- персии:

Они характеризуют рассеивание случайной точки в направлении осей OX и OY.

Кроме дисперсий существует еще второй смешанный централь- ный момент

Его обычно обозначают так:

35

Это корреляционный момент (момент связи) случайных величин. Он сосотавляет:

– для дискретных случайных величин

Kxy = ∑∑(xi − mx )( y j − my )Pij ; i j

– для непрерывных случайных величин

∞ ∞

Kxy = ∫ ∫ (xi − mx )( y j − my ) f (x, y)dxdy.

−∞ −∞

Корреляционный момент характеризует связь между случайными величинами X и Y. Для независимых случайных величин корреляци- онный момент равен нулю.

Система произвольного числа случайных величин. При реше-

нии практических задач приходится рассматривать системы более чем двух случайных величин.

Полной характеристикой системы произвольного числа случай- ных величин является закон распределения, который может быть за- дан функцией распределения или плотностью распределения.

Функцией распределения системы n случайных величин (X1, X2, …, Xn) называется вероятность совместного выполнения n нера- венств вида Xi < xi:

F(x1, x2, …, xn) = P((X1 < x1) (X2 < x2)…(Xn < xn)).

Плотностью распределения системы будет n-я смешанная частная про- изводная функции F(x1, x2, …, xn), взятая один раз по каждому аргументу:

Систему k случайных величин, взятую из системы n случайных ве- личин произвольным образом, называют частной системой (при k < n).

Случайные величины X1, X2, …, Xk называются независимыми, ес- ли закон распределения каждой частной системы, выделенной из системы (X1, X2, …, Xn), не зависит от того, какие значения приняли остальные случайные величины.

Определим минимальное количество числовых характеристик, с помощью которых можно описать систему n случайных величин:

1) n математических ожиданий m1, m2, …, mn, характеризующих средние значения величин;

36

2)n дисперсий D1, D2, …, Dn, характеризующих рассеивание;

3)n(n – 1) корреляционных моментов:

характеризующих попарную связь всех величин, входящих в систему. Дисперсия каждой из случайных величин Xi является частным

случаем корреляционного момента:

0

Di = Kij M Xi2 .

Все корреляционные моменты обычно представляют в виде пря- моугольной матрицы:

Из определения корреляционного момента следует, что Kij = Kji, т.е. симметричные относительно главной диагонали элементы корре- ляционной матрицы равны. Поэтому матрицу иногда записывают в следующем виде:

K11 K12 ... K1n

K22 ... K2n

... ...

Knn .

Элементами главной диагонали являются значения дисперсии. Если случайные величины некоррелированы, то все элементы

матрицы, кроме диагональных, равны нулю:

37

2. СЛУЧАЙНЫЕ ПРОЦЕССЫ

ВСИСТЕМАХ УПРАВЛЕНИЯ

2.1.Случайные функции и их характеристики. Основные характеристики случайных процессов

Случайные величины и их характеристики, которые являются предметом изучения теория вероятностей, относятся к классу мате- матических объектов, с помощью которых можно построить матема- тические модели статических явлений (не развивающихся во време- ни и пространстве). Задачи описания и изучения случайных сигналов «в динамике», как отображения случайных явлений, развивающихся во времени или в зависимости от любой другой переменной, реша- ются с помощью теории случайных процессов. В качестве универ- сальной координаты для распределения случайных величин по неза- висимой переменной обычно используют временнýю переменную t. Распределения случайных величин во времени, а также и сигналов, отображающих их в любой математической форме, обычно называют случайными процессами. В технической литературе термины «слу- чайный сигнал» и «случайный процесс» используются как синони- мы.

В отличие от детерминированных сигналов значения случайных сигналов в произвольные моменты времени не могут быть вычисле- ны. Они могут быть только предсказаны в определенном диапазоне значений с определенной вероятностью, меньшей единицы. Количе- ственные характеристики случайных сигналов, позволяющие про- изводить их оценку и сравнение, называют статистическими.

Случайный процесс предназначается для вероятностного описа- ния величины (скалярной или векторной, вещественной или ком- плексной), имеющей случайный характер и изменяющейся в процес- се наблюдения, т.е. представляющей собой функцию неслучайного аргумента (времени, координаты точки наблюдения, номера измере- ния и пр.). Простым примером случайного процесса является после- довательность случайных величин, принимающих значения «0» или «1» в зависимости от результата выпадения герба или числа в про- цессе бросания монеты (аргументом здесь служит порядковый номер бросания монеты).

Другой пример случайного процесса – наблюдение изменения ка- кого-либо технологического параметра объекта, например темпера-

38

туры, в фиксированной точке некоторого аппарата в процессе его работы. Предположим, что случайный характер этой температуры обусловлен неконтролируемым разбросом технологических парамет- ров определенного аппарата из группы идентичных, каждому его эк- земпляру соответствует свой график изменения температуры во вре- мени, определяемый случайным выбором экземпляра аппарата. При фиксированном моменте измерения температуры исследуемый про- цесс представляет собой случайную величину; при варьировании моментов времени наблюдения возникает совокупность случайных величин, приуроченных к этим моментам времени и образующих счетное множество, упорядоченное неслучайным параметром t; в приводимом примере – временем и номером аппарата. Такая сово- купность случайных величин (при выполнении ряда определенных условий) и представляет собой случайный процесс с параметром (ар- гументом) t. В этом примере случайный процесс принимает скаляр- ные числовые значения, т.е. представляет собой скалярный случай-

ный процесс.

Набор совместно наблюдаемых скалярных случайных процессов с общим аргументом образует векторный случайный процесс; приме- ром такого случайного процесса может служить последовательность результатов измерений параметров процесса (например, его темпера- туры и номера аппарата), проводимых с целью массового монито- ринга процесса.

Случайность рассмотренных процессов вызвана случайностью выбора объекта исследования (в последнем примере – выбором ап- парата). После такого выбора (называемого далее исходом) случай- ный процесс превращается в свою реализацию (траекторию), пред- ставляющую собой неслучайную функцию аргумента (времени).

Случайный процесс, как модель реального процесса, должен по- зволять достаточно полно описывать и количественно выражать (в вероятностных терминах) события, заключающиеся в том, что реаль- ный процесс соответствует различным задаваемым условиям. Для этого необходимо, чтобы для каждого фиксированного значения ар- гумента случайный процесс представлял собой случайную (измери- мую) величину.

При анализе случайных процессов различают непрерывные и дис- кретные случайные процессы. Например, наблюдения температуры представляют собой непрерывный случайный процесс, в то время как выбор определенного аппарата – дискретный случайный процесс.

39

С другой стороны, если в качестве случайного процесса рассмат- ривается возрастающее число телефонных вызовов системы теле- фонной связи, то результирующий процесс окажется дискретным, так как количество вызовов может быть только целым числом. Плот- ность вероятностей этого процесса содержит множество дельта- функций. Другим примером дискретного случайного процесса явля- ется результат квантования выборочной функции непрерывного слу- чайного процесса и формирование при этом другого случайного про- цесса, принимающего только конечное число возможных значений. Например, 8-разрядный аналого-цифровой преобразователь, на вход которого поступает сигнал с непрерывной плотностью вероятностей, преобразует его в сигнал с дискретной плотностью вероятностей, содержащей 256 дельта-функций.

Могут также существовать смешанные случайные процессы, кото- рые имеют как непрерывную, так и дискретную компоненты. На- пример, ток, протекающий через идеальный выпрямитель, может иметь нулевое значение в течение 50 % времени наблюдения. Дру- гим примером может служить сигнал на выходе системы, содержа- щей ограничитель; при этом если значение случайного сигнала на выходе меньше предельного значения (порога), то происходит пол- ное повторение входного случайного сигнала. Однако значения на выходе не могут быть больше предельного значения, независимо от уровня на входе. Таким образом, осуществляется преобразование непрерывного случайного процесса в смешанный случайный про- цесс, плотность вероятностей которого имеет непрерывную компо- ненту и две дельта-функции. Во всех упомянутых случаях реализа- ции непрерывны во времени, т.е. случайная величина может быть определена для любого момента времени.

Соответствующая плотность вероятностей имеет как участок не- прерывного изменения, так и скачок в виде дельта-функции.

Непрерывным случайным процессом называют процесс, для кото-

рого случайные величины могут принимать любое значение в преде- лах заданной области возможных значений. Эта область может быть конечной, бесконечной и полубесконечной. Примерами непрерыв- ных случайных процессов являются тепловые шумы в полупровод- никах, скорость ветра и т.д. Для непрерывного случайного процесса функция распределения непрерывна.

Дискретным случайным процессом называют процесс, для кото-

рого случайные величины могут принимать только определенные значения (возможно их бесконечное число) и никакие другие. На-

40