Методическое пособие 640

Откуда b - a = 2√3 . Это значение b – a подставим в

(2.19):

= 6 н = 1,42 н .

Например, если сообщения имеют амплитудную модуляцию, то при одинаковой информативности сообщений средняя мощность сигналов при равновероятном распределении амплитуд должна быть на 42% больше мощности при нормальном распределении амплитуд.

Распределения, обладающие наибольшей дифференциальной энтропией при определенных ограничениях, называются экстремальными. Если, по условию, а ≤ Х ≤ b, то экстремальным является равномерное распределение. Если Х не ограничена, но ограничена дисперсия σ2, то экстремальным является нормальное (гауссово) распределение.

2.7. Избыточность сообщений

Средняя энтропия сообщений при одинаковом количестве элементов может быть различной в зависимости от статистических характеристик сообщений. Энтропия максимальна, если элементы сообщений равновероятны и взаимно независимы. Если поступление элементов сообщений не равновероятно, то энтропия уменьшается. Еще меньше будет энтропия при наличии корреляционных связей между элементами сообщений.

Сообщения, энтропия которых максимальна, являются оптимальными с точки зрения наибольшего количества передаваемой информации. Реальные сообщения оказываются меньше энтропии оптимальных сообщений:

Н < Нmax .

41

Мерой отличия энтропии реального сообщения от опти-

мального является коэффициент сжатия:

Если оптимальное и неоптимальное сообщения характеризуются одинаковой общей энтропией, то имеет место равенство

где n – число элементов неоптимального сообщения, п* - число элементов оптимального сообщения.

Так как средняя на элемент энтропия оптимального сообщения максимальна, то число элементов неоптимального сообщения всегда будет больше числа элементов соответствующего ему оптимального сообщения.

Сучетом (2.21) коэффициент сжатия можно представить

ввиде:

== .

Таким образом, реальные сообщения при одинаковой информативности обладают определенной избыточностью в элементах по сравнению соптимальными сообщениями.

Для характеристики близости энтропии реальных сообщений к оптимальному значению вводится также коэффици-

ент избыточности:

Чаще используется следующее выражение:

Увеличение избыточности приводит к увеличению времени передачи сообщений. Однако некоторая избыточность

42

может быть полезной с точки зрения повышения надежности системы.

Пример. Русский алфавит содержит 31 букву (при условии, если не различать буквы «е» и «ё», а также мягкий и твердый знаки). С учетом пробела между буквами русский язык, таким образом, обладает 32 символами.

При условии равновероятности и независимости символов средняя энтропия на символ будет максимальна и равна

Следует отметить, что у всех европейских языков избыточность примерно одинакова. Избыточность разговорных языков сформировалась в результате очень длительной языковой практики и позволяет восстанавливать целые слова и фразы при их искажениях под воздействием различных мешающих факторов.

43

3. Количество информации как мера снятой неопределенности

3.1. Количество информации при передаче отдельного элемента дискретного сообщения

Предположим, что задан некоторый дискретный источник информации, характеризующийся дискретным вероятностным ансамблем:

источника можно поставить в соответствие отдельный первичный сигнал. Некоторую заданную совокупность первичных сигналов, поступающих с выхода источника информации на вход канала связи, принято называть сообщением, а xi - элементом сообщения.

Если состояния источника реализуются независимо друг от друга, то частная априорная неопределённость появления на входе канала элемента сообщения x в соответствии с мерой

Пусть в канале отсутствуют помехи. Тогда между элементами множеств X и Y имеет место взаимно однозначное соответствие и p(xi /yj)=1 при i = j. В этих условиях количество информации, которое уj (j=i) доставляет об xi , равно

I(xi )= - log p(xi )= - log p(yj ).

Эта величина называется собственным количеством ин-

формации, которое несет символ xi , причем всегда I(xi ) > 0. Количество информации убывает с ростом предсказуемости (вероятности) сообщения, находясь во взаимно-однозначной зависимости от последней: I(x) f (p(x)).

Усредняя I(xi) по всему множеству X, получим количество информации, которое в среднем несут сообщения множества X.

44

Среднее значение совпадает с энтропией

Такие системы являются идеальными, чаще на практике необходимо отслеживать связь между сигналом и помехой.

Предположим, что статистическая связь между помехой и элементами сообщения отсутствует и известны условные вероятности того, что вместо xi принимается yj : p(xi /yj ), i = 1… N; j = 1… M.

Таким образом, если на выходе канала получен элемент yj , то становится известной апостериорная вероятность p (xi / yj). Следовательно, можно определить апостериорную частную неопределённость:

Частное количество информации, полученное в результате того, что стал известен элемент yj, определим как разность априорной и апостериорной неопределенностей:

Таким образом, частное количество информации равно величине неопределённости, которая снята в результате получения элемента сообщения yj.

Информация предается от источника информации на передающей стороне к получателю информации на приемной стороне. При этом сообщение, получаемое на приемной стороне, несет полезную информацию лишь в том случае, если имеется неопределенность относительно состояния источника сообщений.

Если опыт имел лишь один исход и не содержит никакой неопределенности, то наблюдатель заранее будет знать исход

45

этого опыта и в результате не получит никакой информации. В реальных же системах связи в результате искажений,

которые возникают из-за шумов, действующих в канале связи, принятое сообщение отличается от переданного. Это означает, что в канале с шумами происходит потеря информации.

Несмотря на похожесть понятий энтропии Н(X) и количества информации I(X), они имеют принципиальные отличия. Энтропия Н(X), выражающая среднюю неопределенность состояния источника сообщений, является объективной характеристикой источника сообщений, и, если известна статистика сообщений, может быть вычислена априорно, т.е. до проведения эксперимента. Количество информации I(X) является апостериорной характеристикой и определяет количество информации, получаемое с поступлением сообщений, т.е. после проведения эксперимента. Энтропия Н(X) есть мера недостатка информации о состоянии отдельной системы. С поступлением информации во время проведения эксперимента ее энтропия снижается. Количество информации I(X) отражает свойство ненадежности системы. Таким образом,

I=Hapr –Haps ,

где Hapr – энтропия до проведения эксперимента (априорная энтропия);

Haps – энтропия после проведения эксперимента, показывающая меру потери информации (апостериорная энтропия).

Количество информации в зависимости от используемого основания логарифма также может измеряться в битах, дитах или натах.

3.2. Свойства количества информации

1) Собственная информация неотрицательна. Она равна нулю только в том случае, когда сообщение имеет вероятность 1. Такое сообщение можно рассматривать как неслучайное и известное заранее до проведения эксперимента. То сообщение имеет большую собственную информацию, которое имеет

46

меньшую вероятность.

I(X) ≥ 0;

I(x)=f (p(x)).

2) Рассмотрим ансамбль {XY, p(xy)}. Для каждого сообщения из этого ансамбля, т.е. для каждой пары xi yj собственная информация I(xi, yj) = - log p(xi yj ). Если сообщения xi и yj статистически независимы, т.е. p(xi yj)= p(xi )· p(yj ), то

Это свойство называет свойством аддитивности информации.

3) I(XY)=I(YX) – свойство коммутативности информа-

ции.

4) Количество информации I(X) является действительной функцией на ансамбле {X, p(x)} и, следовательно, представляет собой случайную величину со значениями I(х1), … , I(хN).

Математическое ожидание Н(Х) случайной величины I(X), определенной на ансамбле {X, p(x)}, называют энтропией этого ансамбля:

Энтропия представляет собой среднее количество собственной информации в сообщениях ансамбля Х.

5) Количество информации, содержащейся в одной системе относительно другой

I(XY) ≤ H(X);

I(XY) ≤ H(Y).

6) Количество информации системы о самой себе (при отсутствии помех) равны ее энтропии

I(XX) = H(X).

7) Частное количество информации уменьшается с ростом априорной вероятности p(xi), увеличивается с ростом апо-

47

стериорной вероятности p (xi / yj) и в зависимости от соотношения между ними может быть положительным, отрицательным

инулевым.

8)Никакое преобразование случайной величины не может увеличить содержащейся в ней информации относительно другой, связанной с ней величиной Z = f(X).

3.3. Передача дискретных сообщений по каналам с помехами

Пусть имеется канал связи (рис. 3.1), по которому передаются сообщения с множеством состояний X и энтропией Н(Х). Сообщения подвергаются в канале связи воздействию помех, энтропия которых равна Н(n). В результате воздействия помех принимаемые сообщения будут иметь состояния Y, энтропия которых равна Н(Y).

Рис. 3.1. К оценке количества информации, передаваемой по каналу связи при наличии помех

Помехи разрушают информацию, содержащуюся в исходных сообщениях и при большом уровне помех количество принимаемой информации может быть значительно уменьшено. Иллюстрацией этого положения может быть следующий пример.

Пример. Пусть передаче подлежат бинарные сообщения, обладающие двумя состояниями х1 и х2 с вероятностями р(х1) и р(х2). Если вероятности одинаковы, т. е.

( ) = ( ) = 0.5 ,

48

то количество передаваемой информации максимально.

В канале связи помехи могут иметь такой характер, что вероятности состояний у1 и у2 на приемном пункте могут сильно отличаться, т. е.

H(Y). Искажения такого характера наблюдаются при передаче по линии связи токовых посылок разной полярности и помехах одной полярности.

Возможен и другой вид помех, когда происходит разрушение передаваемой информации. Например, могут воздействовать шумовые помехи, обладающие различной полярностью. В этом случае могут сохраняться одинаковые вероятности приема состояний:

( ) = ( ),

однако исходная информация будет разрушаться вследствие того, что не будет однозначного соответствия между передаваемым состоянием x1 и принимаемым у1, между х2 и у2. Между этими состояниями будет уменьшаться статистическая связь, характеризуемая условными вероятностями правильных

(истинных) переходов

определяющие вероятности неправильного приема состояний переданных сообщений.

Оценку количества информации, принятого приемным устройством при наличии помех, можно произвести так.

Если передаваемое количество информации равно H(Х), а принятое H(Y), то условная энтропия Н(X/Y) есть то количество информации, которое надо добавить к H(Y) для того, чтобы найти энтропию объединения X и Y. Иными словами, H(X/Y) есть то количество информации, которое может дать полное знание X, когда известно количество информации, даваемое Y.

49

Следовательно, H(X|Y) можно рассматривать как то количество информации, которое недостает для полного знания энтропии объединения, когда известна энтропия H(Y), и поэтому H(X/Y) можно назвать потерей информации, обусловленной воздействием помех на сообщения, передаваемые по каналу связи. Если из общего количества информации H(X) вычесть потерю информации, обусловленную помехами Н(X/Y), то найдем ко-

личество информации, которое содержится в принятой совокупности сообщений Y относительно переданной X. Это ко-

личество информации обозначается I(Y,X) или → или I(Y|X). Мы в дальнейшем будем обозначать его через I(ХY). Как следует из изложенного:

I(YX)=H(X) - H(X/Y). (3.3)

Это выражение определяет количество информации, передаваемое в среднем по каналу связи условиях воздействия помех.

Рассмотрим два предельных случая, соответствующих

различной эффективности воздействия помех.

1-й случай. Уровень помех в канале связи незначителен или в пределе помехи полностью отсутствует. В этом случае сообщения X и Y статистически полностью зависимы и в соответствии и условная энтропия

H(X/Y) = 0.

Следовательно, количество информации, содержащееся в Y относительно X, равно энтропии передаваемых сообщений

I(YX) = H(X).

2-й случай. Уровень помех в канале связи велик. При очень большом уровне помех сообщения X и Y становятся статистически независимыми. В этомслучае, как было показано и условная энтропия равна безусловной

тельно X равно нулю

I(YX) = H(X) — H(X/Y) = 0, 50