Теория информации / Заочн. фак / Метод. обеспечение / Сб.зад.и упр

44

1 МЕРА ИНФОРМАЦИИ И КОДИРОВАНИЕ СООБЩЕНИЙ

1.1 ВЕРОЯТНОСТИ АНСАМБЛЕЙ ДИСКРЕТНЫХ СООБЩЕНИЙ

Источники X и Y дискретных статистически независимых сообщений (событий) x_k (k=) и y_i (i=) задаются на дискретном множестве распределениями вероятностей P(x_k ) и P(y_i ) в виде матриц:

(1.1)

, (1.2)

удовлетворяющих условию нормировки

(1.3)

Объединенным источником XY дискретных сообщений x_ky_i (k=) и (i=) называется источник, задаваемый совместным распределением вероятностей P(x_ky_i ) в виде

(1.4)

и удовлетворяющий условию полноты

. (1.5)

При этом по формуле полной вероятности

(1.6)

(1.7)

Если некоторый источник Z образован объединением L одноименных статистически независимых источников X с матрицей (1.1), т.е. Z=X^L=X⁽¹⁾X⁽²⁾...X^(L) сообщением , где (l)-номер источника, n-номер объединенного сообщения, причем , а x^(l)_n =x₁v x₂v _...v x_N, то вероятность появления объединенного сообщения x^(l)_n будет равна

(1.8)

или в векторной форме записи

(1.9)

которая означает, что вероятность появления n-го кодового вектора значности L равна произведению вероятностей его координат.

Пусть сообщения источников X и Y статистически зависимы между собой и интерпретируются как сообщения на входе и на выходе некоторой дискретной системыP При этом система, называемая дискретным каналом, задается матрицей переходных вероятностей P(x_i /y_k ) вида

, (1.10)

строки которой удовлетворяют условию полноты

(1.11)

Тогда апостериорные вероятности входных сообщений x_k по результатам наблюдения выходных сообщений y_i описываются формулой Байеса

(1.12)

При последовательном соединении двух дискретных систем P₁ и P₂ , задаются матрицами переходных вероятностей

(1.13)

(1.14)

апостериорные вероятности входных сообщений x_k по результатам наблюдения выходных сообщений z_j равны :

(1.15)

где , (1.16)

что соответствует операции перемножения матриц (1.13), (1.14).

З А Д А Ч И

1.1.Дискретный источник X задается матрицей

.

Сколько всевозможных объединенных сообщений можно составить из L таких источников и чему равны вероятности этих сообщений, если порядок следования сообщений x₁x₂ :

a) безразличен ; б) представляет интерес .

Решение 1.1.

Число объединенных сообщений

, где .

Будет : а ) n =; б) n =.

Соответствующие вероятности их появления равны

где - число сообщений x₁ в .

1.2. Сообщения x₁ ,x₂ ,x₃ ,x₄ источника X, заданного матрицей

,

кодируются четырьмя двоичными кодовыми словами: {00}, {01}, {10}, {11} соответственно. Обозначив через y₁ первый, а через y₂ второй символы кодовых слов, найти следующие вероятности :

P(y₁=1); P(y₂=0/y₁=1); P(y₂=0/y₁=0); P(x₄/y₁=1); P(x₂/y₁=0).

Решение 1.2.

1.3.Сообщения дискретного источника X , задаваемого матрицей

,

кодируются словами {010},{001},{101},{000},{111} соответственно .

Определить :

Решение 1.3.

1.4.Определить условные вероятности правильного и ошибочного приема на выходе Y двоичной системы P каждого из входных передаваемых сообщений x₁ ,x₂ двоичного источника X , а также безусловные вероятности правильного и ошибочного приема по результатам наблюдений выходных сообщений y₁ ,y₂ , если известны матрица источника X и матрица системы P.

Примечание : условием правильного приема двоичных сообщений является передача x_i при приеме y_i ().

Решение 1.4.

Условные вероятности правильного и ошибочного приема каждого x_i

сообщения соответственно равны :

Безусловные вероятности правильного и ошибочного приема соответственно

будут равны :

1.5.Система собирается из узлов обычного качества или высококачественных узлов. Априорно известно , что 40% всех систем собирается из высококачественных узлов. Если система собирается из высококачественных узлов, то вероятность ее безотказной работы за время t равна 0,95, а для систем из обычных узлов эта вероятность равна 0,7. Наугад была выбрана система, которая в течении времени t работала безотказно. Из каких узлов наиболее вероятно собрана данная система?

Решение 1.5.

Система наиболее вероятно собрана из узлов обычного качества.

1.6.Наблюдается некоторый объект с помощью двух станций слежения. Известно, что объект может находиться в двух состояниях x₁ и x₂ , случайно переходя из одного состояния в другое.

Априорно известно, что 30% времени объект находится в состоянии x₁ ,а 70% - в состоянии x₂. Станция слежения N 1 передает ошибочные сведения о состоянии объекта в 2% всех случаев , а станция N 2 в 8%. В некоторый момент времени станция N 1 приняла решение y, состоящее в том, что объект находится в состоянии x₁, а станция N 2 - решение y₂, что объект находится в состоянии x₂.

Какому из сообщений верить?

Решение 1.6.

Для принятия решения используем критерий максимума апостериорной

вероятности. Тогда :

Сообщение второй станции более правдоподобно.

1.7.Определить условные вероятности правильного и ошибочного приема каждой пары, а также безусловную вероятность правильного и ошибочного приема пары входных сообщений двоичного источника X на выходе Y дискретной двоичной системы P, если известны матрица источника X и матрица системы P.

Решение 1.7.

Условные и безусловные вероятности правильного и ошибочного приема пар

сообщений согласно обозначениям 1.4. соответственно равны :

1.8.По двоичной системе связи с помехами передается статистически независимым образом одна из двух равновероятных команд в виде двоичных векторов =000 или =111. Вероятность правильной передачи каждой координаты векторов команд в системе равна q<1,0 в следствии действия помех, причем координаты искажаются независимо друг от друга. Пусть на выходе системы зарегистрирована кодовая комбинация =001. Какая команда была передана, если q(0,5;1)? Как изменится решение, если q<0,5?

Решение 1.8.

Для принятия решения составим отношение правдоподобия

.

В случае выполнения вышеприведенного неравенства наиболее правдоподобна передача . Отсюда для =001 при q=0,5 наиболее правдоподобна передача команды =000, а при q<0,5 - =111.

1.9.Определить условные и безусловные вероятности правильного и ошибочного приема четырех равновероятных сообщений, закодированных кодовыми словами {00},{01},{10},{11}, если они передаются по двум последовательно соединенным идентичным двоичным каналам с вероятностью искажения, каждого двоичного символа (1-q). При этом символы искажаются в каналах независимо друг от друга.

Решение 1.9.

По аналогии с 1.4. на выходе второго канала согласно (1.15), (1.16) имеем :

1.2 СОБСТВЕННАЯ И ЧАСТНАЯ ВЗАИМНАЯ ИНФОРМАЦИЯ АН-САМБЛЕЙ ДИСКРЕТНЫХ СООБЩЕНИЙ

Количество информации, содержащейся в дискретном сообщении x_k источника X с матрицей (1.1), называется собственным количеством информации и определяется в виде

. (2.1)

Количество информации, содержащейся в дискретном сообщении x_k при условии, что известно статистически связанное с ним сообщение y_i , называется частной условной информацией и равно

, (2.2)

где P(x_k /y_i ) -условная вероятность сообщения x_k при заданном y_i.

В силу аддитивности и симметричности меры информации (2.1) собственное количество информации, содержащейся в объединенном источнике x_ky_i объединенного ансамбля дискретных сообщений XY с матрицей (1.4), равно

I(x_k y_i )=I(x_k)+I(y_i/x_k)=I(y_i)+I(x_k/y_i)=

= - [log P(x_k)+log P(y_i/x_k)]=-[log P(y_i)+log P(x_k/y_i )] . (2.3)

При статистической независимости ансамблей X и Y выражение (2.3) преобразуется к виду

I(x_ky_i )=I(x_k)+I(y_i)=-[log P(x_k)+log P(y_i)] . (2.4)

Количество информации, содержащейся в сообщении y_i относительно сообщения x_k, называется частной взаимной информацией и определяется соотношением

. (2.5)

При передаче сообщений x_k в дискретных системах, описываемых матрицами (1.10), величина (2.2) определяет собственное количество информации, теряемое в системе вследствии помех.

В силу свойства аддитивности меры информации имеют место следующие соотношения для источников сообщений X,Y,Z,U :

(2.6)

(2.7)

При статической независимости сообщений объединенных источников XZ от YU выражение (2.7) преобразуется к виду

I(x_ky_i ;z_ju_h )= I(x_k ;z_j )+ I(y_i ; u_h ) . (2.8)

Если источник сообщений образован объединением L одноименных статистических независимых источников X с матрицей (1.1), то суммарный объем собственной информации, содержащейся в одном объединенном сообщении (см. раздел 1), согласно (1.8) и (2.1) равен

(2.9)

З А Д А Ч И

2.1.Определить суммарное количество собственной информации , содержащейcя на экране алфавитно-цифрового дисплея с экраном размерности L=(32*16) статистически независимых элементов, если каждый элемент может отображать N=32 различных равновероятных статистически независимых символа .

Решение 2.1.

В силу аддитивности и статической независимости символов согласно (2.9) :

Отсюда в силу равномерного распределения символов имеем :

2.2.Определить суммарное количество информации, содержащейся в последовательности из 8 равновероятных статистически независимых десятичных цифр .

Решение 2.2.

По аналогии с 2.1. :

.

2.3.Определить частную взаимную информацию на выходе двоичной системы связи, заданной матрицей вероятности

;

если входные сообщения x₁ и x₂ равновероятны.

Решение 2.3.

Откуда :

2.4.По двоичному каналу связи с помехами передаются двоичные символы с одинаковой вероятностью. Известно, что вероятность правильной передачи каждого входного символа x_i равна q для каждого выходного символа y_i (i=1,2).

Определить:

1.Собственное количество информации для каждого входного и выходного символа канала ;

2.Частную взаимную информацию, содержащуюся в каждом принятом символе относительно переданного.

Построить графики частной взаимной информации и функции q.

Решение 2.4.

График частной взаимной информации в функции q представлен на рис. 2.1.

Рис.2.1

2.5.Среди женщин 25%-блондинки, 50%-брюнетки и 25%-шатенки. Блондинки всегда вовремя приходят на свидание , шатенки всегда опаздывают, а каждая брюнетка решает придти ли ей вовремя или опоздать подбрасыванием монеты. Какое количество информации содержится в утверждении :

1."Данная женщина приходит вовремя" относительно каждого из утверждений , что :

а) x₁ -"блондинка";

б) x₂ -"брюнетка";

в) x₃ -"шатенка".

2."Данная женщина три раза подряд вовремя приходит на свидание" относительно утверждения , "что она брюнетка"?

Решение 2.5.

Введем обозначения групп событий:

- блондинка; - приходит вовремя;

- брюнетка; - опаздывает.

- шатенка;

Откуда .

1 )

;

;

.

2 ) .

2.6.Двоичный источник порождает статистически независимые сообщения x_k (k=1,2) с вероятностями P и (1-P) соответственно. Определить собственное количество информации, содержащейся в двоичной последовательности таких сообщений длиной L, если:

а) порядок следования сообщений безразличен ;

б) порядок следования сообщений представляет интерес.

Решение 2.6.

Рассматривая последовательность сообщений x_k ( k=1,2) как сообщения

объединенного источника , имеем :

а)

б)

здесь - количество сообщений x₁ в .

2.7.В двоичной системе связи под воздействием шума каждый из входных символов с вероятностью (1-q) изменяет свое значение статистически независимо друг от друга . Четыре равновероятных статистически независимых сообщения могут быть переданы по системе в виде кодовых векторов: ={00}; ={01}; ={10}; ={11}.

Пусть на выходе системы принята последовательность ={00}.

Определить:

а) количество информации относительно ,содержащейся в первом принятом кодовом символе y₁₁ =0;

б) дополнительное количество информации относительно , содержащейся во втором принятом кодовом символе y₁₂ =0;

в) частную взаимную информацию , содержащуюся в относительно .

Решение 2.7.

2.8.На вход двоичной системы связи, представляющей два последовательно-соединенных идентичных двоичных канала P₁ ,P₂ .

Рис. 2.2

с вероятностями искажения двоичного символа (1-q) в каждом, поступают статистически независимые двоичные сообщения x₁ ,x₂ c вероятностями P(x₁), P(x₂).При этом искажения каждого двоичного символа в каждом из каналов происходит независимо друг от друга. Определить частную взаимную информацию на выходе каждого из каналов относительно входных сообщений системы.

Решение 2.8.

2.9.По системе связи, представляющей собой параллельно соединенные идентичные двоичные каналы P₁ , P₂ .

Рис. 2.3

с вероятностью искажения каждого сообщения (1-q), передаются сообщения объединенного источника X² , составленного из пар сообщений двоичного источника X . Определить частную взаимную информацию на выходе системы относительно входа , если известна матрица источника X вида

Решение 2.9.

где каждое из слагаемых определяется выражениями :

1.3 ЭНТРОПИЯ И СРЕДНЯЯ ВЗАИМНАЯ ИНФОРМАЦИЯ АНСАМ-БЛЕЙ ДИСКРЕТНЫХ СООБЩЕНИЙ

Среднее количество информации , содержащейся в одном сообщении источника X из (1.1) , называется энтропией источника X , равной с учетом (2.1)

(3.1)

Аналогично, условной энтропией согласно (2.2) называется величина

(3.2)

характеризующая средние потери информации в дискретной системе P при передаче одного сообщения от X к Y . Средняя взаимная информация ансамблей дискретных сообщений X и Y согласно (2.5) равна

(3.3)

Энтропией объединенного источника XY согласно (2.3) называется величина

(3.4)

При решении задач могут оказаться полезными следующие свойства указанных величин:

1) 0 H(X/Y) H(X) log N ;

2) 0 I(X;Y)=I(Y;X)=H(X)-H(X/Y)=H(Y)-H(Y/X)=H(X)+H(Y)-H(XY)

H(X) V H(Y);

3) H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y) H(X)+H(Y);

4) I(XY;ZU) I(X;Z)+I(Y;U).

З А Д А Ч И

3.1.Двоичный источник X задан матрицей

Определить энтропию источника и построить ее график в функции P.

Решение 3.1.

График H(X) в функции представлен на рис. 3.1.

H(X) (бит/сообщение)

1.0