Методическое пособие 640

Рис. 4.9. Граф состояний системы

Составим для установившегося режима систему линейных алгебраических уравнений.

Р1 = 0,7·P1 + 0,8·P2 + 0,8·P3; Р2 = 0,2·P1 + 0,1·P2 + 0,05·P3; Р3 = 0,1·P1 + 0,1·P2 + 0,15·P3; P1 + P2 + P3 = 1.

Решая систему методом Крамера, находим определители: ∆ = 1,045, ∆1 = 0,76 , ∆2 = 0,175,∆3 = 0,11.

В результате решения получаем значение вероятностей состояния в установленном режиме:

Р1 = 0,727; Р2 = 0,168; Р3 = 0,105.

Коэффициент простоя процессора Kп = Р3 = 0,105. Коэффициент использования Ри = 1 – Kп = 0,895, при

этом на обработку программ пользователя затрачивается 72,7% времени, а наобслуживание операционной системы – 16,8%.

4.3.1. Энтропия стационарного источника

Разделим бесконечную последовательность букв, порожденную Марковским источником S с состояниями s1, ..., sn на n подпоследовательностей, каждая из которых состоит из букв, порожденных в определенном состоянии sj. Поскольку вероятность появления очередной буквы зависит только от состояния источника, то буквы j-й последовательности появляются независимо друг от друга с вероятностями p(ai / aj ). Имея в виду этот факт, что Марковский источник разделяется на п источ-

81

ников Бернулли, каждый из которых определяется набором условных вероятностей р(a1/sj), . . .,p(ak/sj), 1 ≤ j ≤ п, и обладает энтропией

( ) = − ( ⁄ )log ⁄ .

Таким образом, получаем формулу для энтропии Марковского источника S с состояниями s1, . . .,sn :

( ) =

Таким образом, последовательность, порожденную Марковским источником, можно эффективно кодировать, разделяя ее по числу состояний на п подпоследовательностей и кодируя каждую из них отдельно любым из побуквенных кодов.

Определим производительность источника Н как предел отношения количества информации, которое в среднем несет отдельно слово, к числу букв в слове п при неограниченном возрастании п:

( ) = lim ( , , ) . (4.12)

→

Если буквы в слове статистически независимы (вероятность выбора очередной буквы не зависит от состава предшествующих ей букв), то

со статистически независимыми буквами сообщений будет стационарным, если вероятность выбора i-й буквы алфавита не зависит от того, какое место в слове она занимает. В этом случае

( , , ) = ∙ ( ) .

82

Согласно указанной модели условная вероятность выбора источником очередной aik , буквы зависит только от n предшествующих. Математической моделью сообщений, вырабатываемых таким источником, являются цепи Маркова n-го порядка.

Вычислим производительность источника для простой цепи Маркова (n=1). В этом случае вероятность

Прологарифмировав последнее равенство, получим

Это равенство показывает, что индивидуальное количество информации, которое несет слово, равно количеству информации, которое несет первая буква, плюс количество информации, которое несет вторая буква при условии, что первая буква уже принята, и т. д.

Усредняя равенство по всем словам, получим количество информации, которое в среднем несет каждое слово:

( , , ) = ( ) + ( ⁄ ) + + ( ⁄ ) .

Поскольку источник стационарный, то энтропия не зависит от k и равна

( , , ) = ( ) +( −1) ( ⁄ ) ≤ ( ).

Подставляя полученный результат в (4.12) и учитывая, что всегда H(X)≤ log m,

( ) = lim ( ) + − 1 ( ⁄ ) = ( ⁄ ) .

→

В случае Марковской цепи n-го порядка H(S) вычисляется аналогично и равна Н(S)=Н(Sn+1/Sn , ... , S1).

83

Таким образом, производительность марковского источника равна неопределенности выбора очередной буквы при условии, что известны n предшествующих.

Применение Марковских цепей достаточно сильно упрощается, когда эти цепи гомогенны, стационарны и регулярны. Марковская цепь называется гомогенной (однородной), если вероятности переходов между состояниями не зависят от выбора временной точки отсчета, т.е. вероятности переходов зависят от разности временных отсчетов [9].

Гомогенная цепь Маркова является регулярной, если:

1. Предельная матрица вероятностей перехода существует.

П = lim П .

→

Причем все n строк предельной матрицы представляют собой предельное распределение вероятностей состояний матрицы.

П=

2.Предельное распределение вероятностей состояний p∞ является единственным стационарным распределением вероятностей состояний любой регулярной цепи Маркова.

p∞ = p0

Таким образом, при t→∞ в системе S устанавливается некоторый предельный стационарный режим: хотя система случайным образом и меняет свои состояния, но вероятность каждого из них не зависит от времени и каждое из состояний осуществляется с некоторой постоянной вероятностью, которая представляет собой среднее относительное время пребывания системы в данном состоянии. Это свойство позволяет обходиться при нахождении параметров системы на основе моделирования одной достаточно длинной реализацией.

84

4.4. Марковские случайные процессы с непрерывным временем

Марковский случайный процесс с дискретными состояниями и непрерывным временем называется непрерывной цепью Маркова при условии, что переход системы из состояния в состояние происходит не в фиксированные, а в случайные моменты времени.

В экономике часто встречаются ситуации, которые указать заранее невозможно. Например, любая деталь или агрегат могут выходить из строя в любой, непредсказуемый заранее момент времени. Для описания таких систем и отдельных случаев можно использовать математический аппарат непрерывной цепи Маркова.

Представим модель Марковского процесса в виде графа, в котором состояния (вершины) связаны между собой связями (переходами из i-го состояния в j-е состояние) (см. рис. 4.10).

Рис. 4.10. Пример графа Марковского процесса с непрерывным временем

Пусть S1, ... , Sn – всевозможные состояния системы S. Вероятность pi(t)=p(Si(t)), i =1, … , n; t ≥ 0; события Si (t), состоящего в том, что система S в момент времени t находится в состоянии Si, называется вероятностью i-ого состояния системы в момент времени. Вероятность состояния pi (t) является, таким образом, вероятностной функцией времени t ≥ 0.

Так как в любой момент времени t система S будет находиться только в одном из состояний S1, ... , Sn , то события Si(t),

85

i =1, … , n несовместны и образуют полную группу. Поэтому имеет место нормировочное условие:

Плотностью вероятности перехода системы S из состояния Si в состояние Sj в момент времени t называется величина

откуда следует, что

( ; ∆ ) ≈ ( )∙∆ , ∆ → 0 .

Из определения плотностей вероятности перехода λij (t) видно, что они в общем случае зависят от времени t, неотрицательны и в отличие от вероятностей могут быть больше 1.

Если при любых i ≠ j ; i, j =1,...,n плотности вероятностей переходов не зависят от времени t, и тогда вместо λij (t) будем писать просто λij , то Марковский процесс с непрерывным временем называется однородным.

Если же хотя бы при одной паре значений i ≠ j плотность вероятности перехода λij изменяется с течением времени t, процесс называется неоднородным.

Вероятности состояний pi (t), i =1, … , n (неизвестные вероятностные функции) являются решением следующей системы дифференциальных уравнений:

( )

= − ( )+ ( ) , = 1, , ; ≥ 0.

Пример. Граф состояний системы имеет вид (рис. 4.11):

86

Рис. 4.11. Граф состояний

Найдите вероятности состояний системы в стационарном режиме.

Решение. Составим систему уравнений Колмогорова для данного графа состояний:

Тогда финальные вероятности состояний могут быть получены путем решения системы линейных алгебраических уравнений:

87

сообщений

Производительностью источника сообщений (потоком информации) называется количество информации, вырабатываемое источником в единицу времени. Обычно помехи в источнике малы и их учитывают эквивалентным изменением модели канала связи. При этом производительность источника Ī (X) численно равна величине энтропии в единицу времени и определяется соотношением

88

где τср - средняя длительность формирования одного знака. Длительность выдачи каждого отдельного элемента со-

общения в общем случае зависит не только от типа формируемого знака, но и от состояния источника. Поэтому средняя длительность τср выдачи источником одного знака в общем случае определяется как

где τx,q - длительность выдачи знака xi в состоянии q, p(xi /q) - вероятность появления знака - в состоянии q, а p(q) - вероятность состояния q.

Из формулы (4.13) следует, что повысить производительность источника можно либо путем увеличения его энтропии, либо за счет уменьшения средней длительности формирования знаков. В соответствии с (4.14) уменьшение средней длительности τср наиболее эффективно за счет уменьшения длительности формирования тех знаков, которые имеют относительно высокие вероятности появления. Если длительности формирования знаков не зависят от состояний источника и одинаковы, повышение производительности возможно только за счет увеличения его энтропии.

89

5. Информационные характеристики каналов связи

5.1. Модели дискретных каналов

Каналом связи или просто каналом называют совокупность технических средств и физических сред, обеспечивающих передачу сообщений.

Линии связи обеспечивают прохождение информационных сигналов между устройствами канала. Информация обычно передается при помощи электрического тока (по проводам), света (по оптоволокну), электромагнитных волн радиодиапазона (в пространстве) и, редко, звука (в плотной среде: атмосфере, воде и т.п.) и прочих.

Устройства канала — это, как правило, репитеры, просто передающие усиленный принятый сигнал (пример, радиорелейные линии). К устройствам канала иногда относят и кодеры/декодеры, но только в тех случаях, когда кодирование/декодирование происходит с высокой скоростью, не требующей ее специального учета, как замедляющего фактора; обычно же кодеры/декодеры относят к источникам или приемникам информации.

Технические характеристики канала определяются принципом действия входящих в него устройств, видом сигнала, свойствами и составом физической среды, в которой распространяются сигналы, свойствами применяемого кода.

Эффективность канала характеризуется скоростью и достоверностью передачи информации, надежностью работы устройств и задержкой сигнала во времени.

Задержка сигнала во времени — это интервал времени от отправки сигнала передатчиком до его приема приемником.

Основные свойства канала связи:

1)Полоса частот, который занимает канал связи.

2)Мощность сигнала (пиковая, на входе, на выходе).

3)Показатели верности оценки сообщения на выходе.

4)Вид модуляции и способ кодирования.

90