Lab2Inf

15

МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

ПРИБОРОСТРОЕНИЯ И ИНФОРМАТИКИ

Серпуховский филиал

Кафедра Персональные компьютеры и сети

В.Е. Смирнов

ИНФОРМАТИКА

ПОСОБИЕ

к выполнению лабораторной работы

для студентов I курса

специальности 230100

дневного, заочного и сокращенного обучения

(бакалавриат)

Серпухов -2011

Лабораторная работа № 2

Тема: Исследование информационных характеристик дискретных источников сообщений и каналов связи

Цели лабораторной работы:

1. Формирование умений и совершенствование навыков по исследованию информационных характеристик дискретных источников сообщений и каналов связи с использованием пакета прикладных программ Mathсad и объектно-ориентированного программирования на языке СИ++

2. Формирование навыков проведения анализа процессов и обобщения результатов исследования.

1. Краткие теоретические сведения

1.1 Если символы в сообщении длиной n, формируемом дискретным источником с объемом алфавита m, равновероятны и независимы, то количество информации I в этом сообщении может быть вычислено по мере Р. Хартли

. ( 1 )

При этом, если в качестве основания логарифма принять а=2, то количество информации I измеряется в двоичных единицах или битах (binary digit – двоичная цифра).

Выбор основания логарифма не имеет принципиального значения, т.к. по известной формуле

( 2 )

всегда можно перейти от одного основания к другому (этой же формулой пользуются и в том случае, если имеющееся в распоряжении исследователя средство вычислений не способно вычислять двоичные логарифмы).

Так, .

Изменение основания логарифма приводит только к изменению единицы измерения (при а = е – количество информации измеряется в натах, при а = 10 – в дитах или Хартли. В дальнейшем, если основание логарифма не указано, будем полагать а = 2.

Удельная информативность сообщения источника, называемая энтропией, вычисляется, как количество неопределенности информации, содержащейся в одном символе . ( 3 )

1.2 Если дискретный источник формирует статистически независимые и неравновероятные символы из некоторого ансамбля объемом m, то количество информации, содержащееся в среднем в одном символе сообщения, может быть вычислено через энтропию по формуле К. Шеннона

I(X) = . ( 4 )

В формуле (4) Н(Х) – Шеннон назвал энтропией ансамбля дискретных символов (в Н(Х) – Х – не аргумент функции, а обозначение ансамбля).

Так, если источник формирует символ Х, который может принимать два независимых значения х₁ и х₂ с вероятностями р(х₁) = р и р(х₂) = (1-р) соответственно, то энтропия такого источника

Н(X) = -(р(х₁) log p(x₁) + p(x₂) log p(x₂))=

= - (p log p + (1-p) log (1-p)). ( 5 )

1.3 Если дискретный источник формирует сообщение, состоящее из n независимых символов, каждый из которых выбирается независимо и неравновероятно из некоторого ансамбля символов m, то энтропия совместного формирования n символов будет равна сумме энтропий отдельных символов н(nX)_нз = . ( 6 )

Так, если сообщение состоит из двух независимых символов X и Y, причем символ Х независимо формируется из ансамбля неравновероятных символов х₁, х₂, ... х_m , а символ Y - из ансамбля неравновероятных символов y₁, y₂, ... y_n , то совместная энтропия двух независимых символов (энтропия сообщения, состоящего из двух символов) будет вычисляться по формуле

H(XY)_нз=H(x)+H(Y)=-(). ( 7 )

1.4 Если дискретный источник формирует сообщение, состоящее из n зависимых символов, каждый из которых выбирается независимо и неравновероятно из некоторого ансамбля символов m, то энтропия совместного формирования n символов будет равна сумме безусловной энтропии одного из символов и условных энтропий формирования остальных символов при условии, что уже сформированы предыдущие символы.

Так, если сообщение состоит из двух символов XY, и первым, независимо из ансамбля m неравновероятных символов х₁,х₂,...,х_m, формируется символ Х, за ним символ Y, независимо из своего внутреннего ансамбля y₁,y₂,...y_n, и зависимо от того, какое из возможных значений принял символ x_i , то

н(XY)_з = H(X) + H(Y/X), ( 8 )

где Н(Х) – безусловная энтропия формирования первого в сообщении символа x_i (i=1,2,...,m), вычисляемая по формуле (4);

H(Y/X) – условная энтропия формирования второго в сообщении символа y_j (j=1,2,...,n), при условии, что уже сформирован конкретный символ x_i , вычисляемая по формуле

H(Y/X)=- . ( 9 )

1.5 Если при передаче сформированного сообщения от источника к получателю в канале связи действуют помехи, то получатель принимает решение о значении принятого символа в условиях неполной определенности соответствия принятого символа переданному. В этих условиях модель системы передачи дискретных сообщений может быть представлена так, как показано на рисунке 1.

Для примера, приведенного на рисунке 1, на входе канала источником дискретных сообщений сформирован сигнал х_i из ансамбля возможных сигналов {Х}, i=1,2,...,m . Поскольку в канале действуют помехи, то сигналы x_i и y_j связаны неоднозначно и на выходе может быть получен любой сигнал y_j из ансамбля {Y}, j = 1,2,...,n с условными вероятностями p(y_j/x_i). В общем случае объемы алфавитов могут не совпадать (m n).

Это свойство канала можно характеризовать матрицей канала М_к, элементами которой являются условные вероятности перехода передаваемого сигнала S_i(t)(i=1,,2,...,m) в соответствующий принимаемый сигнал S_j(t)(j=1,2,...,n ).

x₁ y₁

x₂ y₂

. .

. .

. p(y_j/x_i) .

x_i y_j

. .

. .

. .

x_m .

y_n

Рис. 1-Модель дискретного канала с помехами

p(y₁/x₁) p(y₂/x₁) ... p(j_n/x₁)

M_k = p(y₁/x₂) p(y₂/x₂) ... p(y_n/x₂)

. . . . . . . (10)

p(y₁/x_m) p(y₁₂/x_m) ... p(y_n/x_m)

Каналы, для которых алфавит передаваемых и принимаемых сигналов одинаков, т.е. m = n = k, а условные вероятности определяются соотношением

q = 1 – p , для i=j

p(y_j/x_i) =

, для i j ( 11 )

получили название симметричных каналов.

В (11) р – вероятность искажения элементарного сигнала.

Наиболее полно в настоящее время изучены двоичные симметричные каналы без памяти (ДСК), для которых матрица канала имеет вид

q = 1-p p

M_k =

p q = 1-p , ( 12 )

а модель может быть представлена так, как показано на рисунке 2.

q = 1-p

х₁ y₁

p p

q = 1-p

x₂ y₂

Рисунок 2-Модель ДСК без памяти

Наряду с симметричными каналами, существуют и другие, на­пример каналы со стиранием символов, которые в данной работе не рассматриваются.

Эффективная передача информации по каналу связи требует решения ряда иногда противоречивых задач, таких, как повышение скорости передачи информации и обеспечение требуемой помехоустойчивости, согласование ка­нала с источником сообщений и получателем информации и др.

Одним из основных вопросов в теории информации является определение количества информации, передаваемой по каналу связи с помехами, т.е. в условиях неполной достоверности принятых сообщений. Эта задача впервые решена К. Шенноном.

Поскольку в данном случае событие ансамбля Y является лишь отражением события ансамбля Х, то при наблюдении событий ансамбля Y у получателя остается некоторая неопределенность относительно исхода опыта. Эта неопределенность характеризуется средней условной апостериорной энтропией H(X/Y), т.е.

Н_{после опыта} = H(X/Y). ( 13 )

Поскольку вся информация о событиях ансамбля Х содержится в событиях ансамбля Y, то разность этих двух неопределенностей естественно принять за количество информации, которое содержится в событиях ансамбля Y о событиях ансамбля Х. Тогда

I(YX) = H(X) - H(X/Y) . ( 14 )

Таким образом, среднее количество информации, получаемое при неполной достоверности сообщений, равно разности безусловной энтропии Н(Х), характеризующей начальную (априорную) неопределенность сообщений, и условной энтропии H(X/Y), характеризующей остаточную (апостериорную) неопределенность сообщений.

Подставив в (14) выражения для соответствующей энтропии, получим

I(Y,X)= - .( 15 )

Формула (15) позволяет вычислить среднее количество информации, содержащееся в Y относительно Х.

Используя свойство условной энтропии

H(X/Y)= H(X,Y) – H(Y), ( 16 )

выражение (12) можно привести к виду

I(Y,X)=H(X)+H(Y)– H(X,Y). ( 17 )

Следовательно, количество передаваемой по каналу с помехами информации может быть выражено через сумму энтропий передаваемого Х и принимаемого Y сообщений, за вычетом совместной энтропии H(X,Y).

2. Порядок выполнения работы

2.1 Исследование изменения количества информации в сообщениях с равновероятными и независимыми символами

Используя ППП Mathcad, построить графики изменения количества информации в сообщениях с переменной длиной n равновероятных и независимых символов из ансамбля m.

а) изменяя m от m₁ до m₁+10 с шагом 1, построить графики зависимости I = f(m) при значениях n_i, приведенных в таблице 1 ( номер варианта – номер по журналу, варианты свыше 11 – номер по журналу минус 11)

Таблица 1-Исходные данные для исследований по п.2.1

Вариант	1	2	3	4	5	6	7	8	9	10	11
n1	10	20	30	40	50	60	70	80	90	100	110
m1	13	12	11	10	9	8	7	6	5	4	3

б) изменяя n от n₁ до n₁ + 100 с шагом 10 построить графики зависимости I = f(n) при значениях m_i, приведенных в таблице 1.

2.2 Исследование изменения энтропии двух неравновероятных независимых символов

В предположении, что сообщение состоит из одного символа Х, формируемого из ансамбля х₁ и х₂ с вероятностями соответственно р(х₁) = р и р(х₂) = (1-р), построить график зависимости

Н(X) = -(р(х₁) log p(x₁) + p(x₂) log p(x₂))=

= - (p log p + (1-p) log (1-p)), при изменении вероятности р от 0 до 1 с шагом 0,1.

2.3 При исходных данных, заданных в таблице 2, рассчитать величину энтропии и количество информации в сообщении, состоящем из двух:

а) независимых символов Х и Y, формируемых из независимых алфавитов х₁,х₂ и y₁,y₂,y₃ с вероятностями соответственно Р(х₁), Р(х₂), P(y₁), P(y₂), P(y₃);

б) зависимых символов Х и Y, формируемых из независимых алфавитов х₁,х₂ и y₁,y₂,y₃ с безусловными (для Х – таблица 2) и условными (для Y – таблица 3) вероятностями.

Таблица 2 –Исходные данные для исследований по п.2.3

Вариант	1	2	3	4	5	6	7	8	9	10	11
P(х1)	0.2	0.3	0.4	0.25	0.35	0.45	0.22	0.23	0.27	0.32	0.43
P(х2)	0.8	0.7	0.6	0.75	0.65	0.55	0.78	0.77	0.73	0.68	0.57
P(у1)	0.1	0.2	0.3	0.4	0.5	0.6	0.32	0.8	0.9	0.35	0.27
P(у2)	0.4	0.5	0.6	0.3	0.1	0.2	0.48	0.11	0.04	0.45	0.33
P(у3)	0.5	0.3	0.1	0.3	0.4	0.2	0.2	0.09	0.06	0.2	0.4

Таблица 3 –Исходные данные для исследований по п.2.3

Вариант	1	2	3	4	5	6	7	8	9	10	11
P(у1/x1)	.2	.25	.3	.35	.4	.45	.55	.6	.65	.7	.75
P(у2/x1)	.45	.46	.42	.38	.36	.32	.3	.28	.26	.24	.22
P(у3/x1)	.37	.39	.52	.54	.56	.58	.62	.64	.68	.42	.15
P(у1/x2)	.32	.41	.33	.27	.42	.15	.27	.28	.15	.19	.21
P(у2/x2)	.43	.37	.34	.29	.32	.25	.37	.38	.25	.29	.31
P(у3/x2)	.35	.23	.45	.32	.25	.35	.47	.48	.35	.39	.41

2.4. а) при исходных данных, заданных в таблице 4, рассчитать величину энтропии и количество информации в сообщении Х, передаваемом по дискретному каналу с помехами и наблюдаемому на приемной стороне как сообщение Y;

б) варьируя вероятностью р от 0 до 1 с шагом 0.1 рассчитать с использованием ППП Mathcad зависимость I(Y,X) = f(p) и построить график;

в) (задание на дом). Составить программу на языке Си++ расчета зависимости I(Y,X) = f(p) при изменении р от 0 до 1 с шагом 0.1 и получить решение для заданного варианта исходных данных

При выполнении п.2.4 а),б) в качестве аналога использовать решение контрольного примера.

Контрольный пример. В системе передачи информации с передатчика на приемник в условиях помех осуществляется передача сигналов X, ансамбль которых состоит из n = 2 сигналов: х₁ и х₂. Вероятности передачи сигналов p(x₁) = p(x₂) = 0,5. На приемной стороне наблюдаются сигналы Y, ансамбль которых также состоит из двух сигналов y₁ и y₂ (m = 2). Принимаемые символы равновероятны. Известно, что при наблюдении сигнала y₁ с вероятностью q = 0,9 передавался сигнал х₁ и с вероятностью p = 1-q сигнал х₂ . Известно также, что при наблюдении сигнала y₂ с вероятностью q = 0,9 – передавался сигнал х₂ и с вероятностью p = 1-q – сигнал х₁ .

Требуется: рассчитать количество информации, получаемое о сообщении Х, при наблюдении сообщения Y.

Формулы из теории вероятностей, необходимые для решения задачи:

Решение

1. Графическая формализация постановки задачи

ПРД

ПРМ

х₁ q y₁

p p

x₂

q y₂

Рисунок3- Модель системы передачи информации с дискретным симметричным каналом связи без памяти

2. Запишем общее выражение для количества информации, получаемой в СПИ с недостоверным приемом

I(Y,X) = H(X) - H(X/Y)

3. Вычислим полную безусловную энтропию сообщения Х

H(X) = - /симв.

4. Вычислим условную энтропию передачи сообщения Х при условии приема сообщения Y

1. Запишем выражение для условной энтропии в общем виде Н(X/Y) = -

2. По условию задачи

p(y₁ /x₁) = P(y₂ /x₂) = q = 0,9;

p(y₂ /x₁) = p(y₁ /x₂ )= p = 1 – q = 0,1.

3. Вычислим: (из формул по теории вероятностей)

p(y₁)=p(y₁/x₁)p(x₁)+p(y₁/x₂)p(x₂)= 0,9 1/2+0,1 1/2 = 1/2.

p(y₂)= 1 - p(y₁)= 1 – 1/2 = 1/2.

4. Вычислим условные вероятности p(x_i/y_j) из равенств

p(x_i) P(y_j/x_i) = p(y_j) P(x_i/y_j)

P(x_i/y_j)= p(x_i) P(y_j/x_i) / p(y_j)

Для данной задачи P(x_i)=P(y_j) при i,j=1,2 и, следовательно, p(x_i/y_j) = p(y_j/x_i).

Тогда p(x₁/y₁) = p(y₁/x₁) = 0,9;

p(x₂/y₁) = p(y₁/x₂) = 0,1;

p(x₂/y₂) = p(y₂/x₂) = 0,9;

p(x₁/y₂) = p(y₂/x₁) = 0,1;

5. H(X/Y)=-(p(y₁)[p(x₁/y₁) logp(x₁/y₁) +

+p(x₂/y₁)logp(x₂/y₁)]+ +p(y₂)[p(x₁/y₂)logp(x₁/y₂)+p(x₂/y₂)logp(x₂/y₂)]=

=(0,5(q log₂ q + p log₂ p)+0,5(p log p + qlog q)=

=-(qlogq+plogp)=-(0,9log0,9+0,1log0,1)=0,469дв.ед./сим.

Количество информации

I(Y,X) = H(X) - H(X/Y) = 1 – 0,469 = 0,531 дв.ед./сим.

Ответ: I(Y,X) = 0,531 дв.ед./сим.

В предположении использования канала без помех

p(y₂/x₁) = p(y₁/x₂) = 0 и

I(Y,X) = Н(x) = 1 дв.ед./ симв.

Таким образом, передача равновероятного символа по симметричному ДКС без памяти с вероятностью искажения элементарного символа р=0.1, приводит к уменьшению количества информации, в среднем получаемого с одним символом, почти в 2 раза.

Таблица 4-Исходные данные для проведения исследований по п.2.4

Вариант	1	2	3	4	5	6	7	8	9	10	11
P(x1)	.2	.25	.3	.35	.4	.45	.55	.6	.65	.7	.75
P(x2)	.8	.75	.7	.65	.6	.55	.45	.4	.35	.3	.25
P(у1/x1)	.8	.7	.6	.55	.4	.3	.2	.25	.35	.45	.85
P(у2/x1)	.2	.3	.4	.45	.6	.7	.8	.75	.65	.55	.15
P(у2/x2)	.4	.45	.55	.3	.35	.6	.65	.7	.75	.8	.9
P(у1x2)	.6	.55	.45	.7	.65	.4	.35	.3	.25	.2	.1

Примечание: при решении задачи по п.2.4 обратите внимание, что в контрольном примере рассматривается симметричный канал, а при Ваших исходных данных канал связи не является симметричным.

Отчет о выполненной работе должен содержать:

1. Титульный лист

2. Тему и цели работы

3. Mathcad- листинги исследований по п. 2.1 а и б

4. Mathcad- листинг исследований по п. 2.2

5. Mathcad- листинги исследований по п. 2.3 а и б

6. Решение задачи по п.2.4 (ручное)

7. Mathcad- листинг исследований по п. 2.4

8. Листинг программы на языке Си++ и результаты решения задачи по п.2.4

9. Выводы по каждому из пунктов исследований и общие выводы по проведенным исследованиям