3.2. Энропия типичных и нетипичных комбинаций

Предположим, что источник выдает только типичные комбинации с одинаковой вероятностью, т.е. и вероятность появления типичных комбинаций

.

Если, в качестве выходной информации источника рассматривать типичные комбинации (обозначим его как ), то максимально возможная энтропия такого источника будет равна

.

В этом случае энтропию исходного источника сообщений, через количество типичных комбинаций можно записать как

.

(3.2.)

Исходя из (3.2.) количество типичных комбинаций можно выразить как

.

(3.3.)

Для источника дискретных сообщений с известной производительностью выражение (3.3) можно переписать в виде

,

(3.4.)

где - время отправки типичной комбинации длиной.

Возвращаясь к реальному случаю .

С учетом того, что избыточность источника

, ,

формулу (3.3.) можно переписать как

.

(3.5.)

Общее количество комбинаций источника дискретных сообщений длиной равно

.

(3.6.)

Соотношение между типичными и нетипичными комбинациями можно выразить как

,	(3.7.)
.	(3.8.)

Исходя из (3.2-11.5) можно утверждать, что доля типичных комбинаций с ростом убывает, а доля не типичных комбинаций растет.

Пример 3.10. Если в качестве источника дискретных сообщений рассмотреть текст, написанный на русском языке, то средняя длина слова будет равна шести символам. Будем рассматривать в качестве типичной комбинации рассматривать осмысленные слова, а в качестве нетипичной комбинации бессмысленный набор символов длиной в шесть символов.

В этом случае при и,

,

.

Исходя из выше изложенного можно утверждать, что всего в русском языке можно построить возможных слов, но осмысленными из них будет толькослов.

Пример 3.11. оценить, какую долю общего числа возможных последовательностей следует учитывать в практических расчетах, если эргодический источник характеризуется параметрами I=16, H(Z) = 3,5 дв.ед., N=50.

Решение. В соответствии с (3.2 – 3.4.) имеем

откуда

Следовательно, к типичным последовательностям относится только одна тридцатимиллионная доля всех возможных реализаций.

3.3. Условная энтропия

Для подсчета среднего количества информации на символ сообщений вводят понятие «условная энтропия». Если состояния элементов системы не зависят друг от друга, если состояние одной системы не зависит от состояния другой системы, то неопределенность того, что некоторый элемент системы (или неко­торая система) будет находиться в одном из k возможных состояний полностью определялась бы вероятностными характеристиками от­дельных элементов системы, либо вероятностными характеристиками состояний самих систем, т.е.

.

(3.9.)

При этом подразумевалось, что символы сообщения взаимонезави­симы, т.е. с приходом одного символа распределение вероятностей последующих символов не изменяется. Так может быть, например, при передаче из кассы букв конечного алфавита, но с обязательным усло­вием, что после передачи каждой буквы она опять будет возвращена в кассу.

Что касается взаимодействующих систем, то обычно состояние одной из них влияет на состояние другой, как состояние моря и ско­рость ветра влияет на положение корабля. В таких случаях энтропия не может быть определена только на основании безусловных вероятностей.

При подсчете среднего количества информации на символ сообще­ния взаимозависимость учитывают через условные вероятности совер­шения одних событий относительно других, а полученную при этом энтропию называют условной энтропией.

Если элементы источника сообщений принимают состояния x_1, x₂, ..., x_i ..,, x_m с вероятностями соответственно p(x₁), р(x₂), ..., р(x_i), ..., р(x_m), а элементы адресата — состояния y_l, y₂, … yi, ..., y_n с вероятностями соответственно р(y₁), р(y₂), ..., р(yj), ..., р(y_n), то понятие условной энтропии H(y_i/x_i) выражает неопределенность того, что, отправив x_i , мы получим y_j, а понятие А (x_i /y_i) - неуверен­ность, которая остается после получения x_i в том, что было отправлено именно x_i. Если в канале связи присутствуют помехи, то с различной степенью вероятности может быть принят любой из сигналов x_i, и, наоборот, принятый сигнал y_j может появиться в результате отправления любого из сигналов а,. Если в ка­нале связи помехи отсутствуют, то всегда посланному символу x_i соответствует принятый символ y_j. При этом эн­тропия источника Н(X) равна энтропии приемника Н(Y).

Принято выделять два основных вида условной энтропии: частная условная энтропия и общая условная энтропия.

В случае не равновероятного появления символов источника сооб­щений следует учесть вероятность появления каждого символа, умно­жив на нее соответствующую частную условную энтропию.

Частная условная энтропия системы Y относительно от­дельного события x_i будет равна

.

(3.10.)

Она харак­теризует неопределенность состояния системы X в случае, когда известно состояние у наблюдаемой системы В. Зафик­сировав состояние у_j системы Y, мы тем самым изменяем комплекс условий, при которых может реализоваться собы­тие x_i . Это обнаруживается как изменение вероятности реа­лизации события x_i (имеет место статистическая зависимость). Если до изменения условий указанная вероят­ность была равна безусловной (полной) вероятности p(x_i), то после изменения условий она стала равной условной вероятности р(x_i,y_j).

Если частную условную энтропию ус­реднить по всем состояниям x_i с учетом вероятности появления каждого из состояний p(x_i), то найдем полную условную энтропию сообщений Y отно­сительно X.

	(3.11.)

Если исследовать канал связи со стороны приемника сообщений (то есть известен принятый сигнал), то с получением сигнала y_j пред­полагаем, что был послан какой-то из сигналов x₁ ,x₂, .... x_i, ..., x_т.

Понятие условной энтропии широко используется для определения ин­формационных потерь при передаче информации. Пусть по каналу связи передаются символы алфавита Х. В результате воздействия помех приемником будут приниматься символы другого алфавита Y (рис. 7).

Рис. 7. Передача информации по каналу связи при воздействии помех

H(x_i/y_j) выражает неопределенность того, что, отправив x_i, мы получим y_j, а также неуверенность в том, что было отправлено именно x_i, которая остается после получения y_j. Если в канале связи помехи отсутст­вуют, то всегда посланному символу x_i соответствует принятый символ y_i. При этом энтропия источника H(X) равна энтропии прием­ника H(Y). Если в канале связи присутствуют помехи, то они уничтожают часть передаваемой информации.

Информационные характеристики реальных каналов связи лежат между этими двумя предельными случаями. При этом потери информации при передаче символов по данному каналу связи

.

Приведем основные свойства условной энтропии.

1. Если сообщения X и Y статистически независимы, то условная энтропия сообщений Y относительно X равна безусловной энтропии сообщений Y: H(Y/X)=H(Y). В этом случае вся информация, которую содержат сообщения Y, является новой но отношению к информации, содержащейся в сообщениях X.

В самом деле, если сообщения X и Y статистически независимы, то p(y_j/x_i)-p(y_j) и общая условная энтропия может быть записана в форме

.

Так как сумма вероятностей всех состояний X равна единице , то или P(Y/X)=P(Y).

2. Если сообщения X и Y являются статистически жестко связанными, то условная энтропия сообщений Y относительно X равна нулю H(Y/X)=0. Это означает, что сообщения Y не содержат никакой новой информации сверх той, которая содержится в сообщениях X.

3. Условная энтропия всегда меньше безусловной энтропии H(Y/X)<H(Y).

Пример 3.12. В результате статистических испытаний установлено, что при передаче каждых 100 сообщений длиной по 5 символов в сообщении символ К встречается 50 раз, а символ Т – 30 раз. Вместе с символом К символ Т встречается 10 раз. Определить условные энтропии Н(К/Т) и Н(Т/К).

Решение. Общее количество переданных символов

Вероятность появления символа К:

Вероятность появления символа Т:

Вероятность совместного появления символа К и Т :

Так как , то условная вероятность появления символа К относительно Т

Условная вероятность появления символа Т относительно символа К

Условная энтропия символа К относительно Т

Условная энтропия появления символа Т относительно К

Пример 3.13. Имеются две системы Х и Y, объединяемые в одну (X, Y); вероятности состояний системы (X, Y) заданы таблицей

Yj/xi	X1	X2	X3	Pij
Y1	0,1	0,2	0	0,3
Y2	0	0,3	0	0,3
Y3	0	0,2	0,2	0,4
Pi	0,1	0,7	0,2

Определить полные условные энтропии Н(Y X) и Н(Х\ Y).

Решение. Складывая вероятности Рij по столбцам, получим вероят­ности рi = Р (X ~ хi).

P1= 0,1; р2 = 0,7; p3 = 0,2.

Записываем их в нижней, добавочной строке таблицы. Аналогично, склады­вая pij по строкам, найдем;

R1=0,3; r2=0,3; r4=0,4 (rj = P(Y~yj)) и запишем справа дополнительным столбцом. Деля Рij , на рi, получим таб­лицу условных вероятностей Р(уj\хi):

Yj/xi	X1	X2	X3
Y1	1	02,/07	0
Y2	0	0,3/0,7	0
Y3	0	0,2/0,7	1

По формуле (5) находим H(Y/ X). Так как условные энтропии при X ~ х1, X ~ х3 равны нулю, то

H(Y/X) = 0,7(0,2/0,7log(0,2/0,7)+0,3/0,7log(0,3/0,7) + 0,2/0,7log(0,2/0,7).

Пользуясь таблицей 1 приложения, находим

H(Y/X) = 1,09 (дв.ед.).