Специальные главы информатики и вычислительной техники. Учебник

j=1

Далее берем среднее значение для всех частных неопределенностей (1.5). Используя частные условные энтропии, образуем среднюю величину суммы частных условных энтропий:

H(Y / X)= p(x1 )H(Y /x1 )+…+ p(xm )H(Y /xm ), (1.6)

гдеm – количество частных неопределенностей вида (1.5); p(xi) – веса, усредняющие H(Y/X).

Учитывая, что для взаимозависимых событий

p(xi,yj )= p(xi )p(yj /xi ),

формулу (1.6) перепишем в виде

Нетрудно увидеть, что энтропия объединенной системы определяется выражением

Покажем это. Если соотношение, определяемое теоремой умножения вероятностей взаимозависимых систем:

p(x,y)= p(x)p(y /x)

прологарифмировать и затем определить их среднюю величину, то получим

log p(x,y)=log p(x)+log p(y/ x),

откуда

M −log p(x,y) = M −log p(x) + M −log p(y /x) ,

т.е.

H(X,Y)= H(X)+ H(Y / X).

Если системы X и Y независимы, то все частные энтропии в (1.7) равны безусловной энтропии H(Y), поэтому для независимых систем имеем

Если исход в систем Y полностью определяется исходом в системе X, то зная систему X, знаем систему Y, т.е. система Y лишена неопределенности. В этом случае все частные условные энтропии в (1.7) равны нулю, поэтому

Свойства условной энтропии (1.9) и (1.10) являются предельными, поэтому можно записать

Можно показать, что

Действительно, возрастать H(Y/X) не может, так как знания о системе Y увеличились из-за известности состояний другой системы X, поэтому неопределенность снижается. Объединяя формулы (1.11), (1.12), запишем

H(Y)≥ H(Y / X)≥0.

Учитывая свойство (1.9), формулу (1.8) для статически независимых систем X и Y представим в виде

Для систем, полностью зависимых, энтропия будет определяться по формуле

H(X,Y)= H(X)= H(Y).

Какая польза от понятия неопределенности? Большая, если умеем ее измерять. Многие явления в природе можно рассматривать как неопределенные, и надо раскрыть неопределенность, т.е. ее измерить. В итоге можно судить: какое явление более неопределенное, и наоборот.

Пример

Пусть передается 16 равновероятных сообщений двоичным кодом. Сообщения отображаются кодом: 0000, 0001, 0010, 0011, 0100, 0101, 0110, 0111, 1000, 1001, 1010, 1011, 1100, 1101, 1110, 1111. Найти энтропию сообщения и энтропию источника.

Решение. Энтропия сообщения – неопределенность, содержащаяся в осредненном сообщении, тогда

гдеxo – множество элементов сообщения.

Энтропия источника – неопределенность, содержащаяся в одном символе сообщения, тогда

гдеx – множество (число) символов (0,1) кода, используемого для передачи сообщения.

Пример

Показать, что H(y) = H(x), если y = x ± c, c – некоторая константа.

Решение. Воспользуемся свойством аддитивности энтропии, рассматривая y в виде двух независимых систем:

Согласно (1.1) энтропия первой системы равна H(x). На основании второго свойства безусловной энтропии энтропия H(c) второй системы равна нулю. Тогда имеем

H(y)= H(x)+ H(c)= H(x).

Пример

Пусть x и y – два алфавита; z = x + y. Чему равна условная энтропия H(z/x), если:

а)  x и y независимы; б)  x и y зависимы; в)  x ≡ y?

Решение. По п.  «а» на основании (1.8) запишем:

H(x +y /x)= H(x +y,x)−H(x), но

H(x +y,x)= H(x,x)+ H(y,x).

Тогда имеем

H(x +y/x)= H(x,x)+ H(y,x)−H(x)=

=H(x)+ H(x /x)+ H(y)+ H(x / y)−H(x)=

=H(y)+ H(x /x)+ H(x / y).

Учитывая, что

H(x /x)=0,

H(x / y)= H(x),

получим

H(Z /x)= H(y)+ H(x).

По п.  «б»:

H(z/x)= H(x +y/x)= H(x +y,x)−H(x)=

= H(x,x)+ H(x,y)−H(x)= H(x)+ H(x /x)+ H(y)+ +H(x / y)−H(x)= H(y)+ H(x / y).

По п.  «в»:

H(z/x)= H(x +y /x)= H(y)+ H(x / y).

Это найдено было в п.  «б». С учетом условия x ≡ y имеем

H(x +y/x)= H(y)+ H(y/ y)= H(y).

1.7.3.  Количество информации на основе энтропийной меры

Стоит задача определения количества информации, содержащейся в данных, полученных в результате некоторого эксперимента. Пусть система X имеет энтропию H1(X) до проведения эксперимента. Она характеризует величину неопределенности системы. Затем проводится эксперимент, по результатам которого получаем некоторые сведения о системе, которые изменяют первоначальное распределение вероятностей состояний системы X. Поэтому имеем другую величину энтропии системы H2(X), которая будет меньше H1(X) из-за уменьшения неопределенности за счет полученных сведений. Количество информации – это мера снижения неопределенности системы:

Y (X)= H1 (X)−H2 (X).

Если в результате эксперимента о системе стало все известно, то она имеет распределение вероятностей, как у достоверного события, о котором все известно. При этом H2(X) = 0, а получаемая информация равна:

i=1

Во многих случаях информация о каком-либо процессе получается не непосредственно, а по результатам наблюдения за другим процессом, связанным с первым. К этим случаям относят многие измерения, например наблюдения за показаниями прибора. Но наличие помех, случайных погрешностей,

разных шумов и флуктуаций нарушает однозначность связи между исследуемым процессом и прибором, создавая некоторую неопределенность. А как определить количество информации о каком-то процессе, если он наблюдается через другой процесс? С использованием понятия условной энтропии количество информации о событии X, содержащееся в сообщении о событии Y, находится по формуле

При этом энтропия конечного состояния системы X определяется через значение другой системы Y, что соответствует условной энтропии, которая характеризует остаточную неопределенность. Информация, вычисляемая по формуле (1.15), называется средней (полной) информацией о системе X, содержащейся в системе Y. Снижение неопределенности системы X возникает вследствие того, что становятся известными исходы другой системы Y, усредненные по исходам X и Y. Формула (1.15) для случая передачи сообщения интерпретируется так: H(X) определяет среднее количество переданной информации; Y(Y,X) – среднее количество принятой информации; H(X/Y) – среднее количество информации, потерянной из-за наличия помех, шумов.

Существует зависимость

которая утверждает, что количество информации о системе X, содержащейся в системе Y, равно количеству информации о системе Y, содержащейся в системе X. Величину Y(Y,X) = Y(X,Y) называют полной взаимной информацией, содержащейся в системах X и Y.

ЕслисистемыXиYявляютсянезависимыми,тоH(X/Y)=H(X) и на основании (1.15) имеем

Y (Y,X)= Y (X,Y)=0.

Действительно, количество информации равно нулю, если о системе судят по другой системе, с ней не связанной. Следо-

вательно, системы ничего друг о друге не знают, тогда и нет информации между ними.

Если система X полностью определяется системой Y и наоборот, то

Нетрудно увидеть, что на основании (1.13) можно записать

H(X)−H(X /Y)= H(Y)−H(Y / X),

и это соотношение с учетом (1.17) преобразуется к виду

H(X)= H(Y).

В этом случае, согласно (1.15), справедливо соотношение

Y (Y,X)= H(X)= H(Y)= Y (X)= Y (Y).

Формулу (1.15) с учетом (1.13) можно переписать так:

Y (Y,X)= H(X)−H(X /Y)= H(X)+ H(Y)−H(X /Y). (1.18)

Поскольку энтропия является математическим ожиданием от величины – logp, исходя из (1.18), имеем

Y (Y,X)= M −log p(X)−log p(Y)+log p(X,Y) ,

т.е.

Учитывая, что математическое ожидание берется по двум переменным, а также, что

p(X,Y)= p(xi )p(yj /xi )= p(yj )p(xi / yj ); p(X)= p(xi ); p(Y)= p(yj ),

Пример

Имеются три дискретные случайные величины x, y, z, энтропии которых равны:

H(x)= H(y)= H(z).

Определить, чему равняется Y(x,y,z), если H(x,y,z) = H(x). Доказать, что в общем случае Y(x,y,z) ≥ Y(x,y).

Решение. На основании (1.15) можно записать

С учетом (1.13) становятся очевидными следующие выражения:

H(x,y,z)= H(x,y)+ H(z/x,y);

H(z/x,y)= H(x,y,z)−H(x,y).

Тогда

Y (x,y,z)= H(z)−H(x,y,z)+ H(x,y).

При учете свойства (1.18)

Y (x,y)= H(x)+ H(y)−H(x,y)

получим

H(x,y)= H(x)+ H(y)−Y (x,y).

Тогда

Поскольку

H(x)= H(y)= H(z),

то

Y (x,y,z)=3H(x)−H(x,y,z)−Y (x,y).

При

H(x,y,z)= H(x)

находим

Y(x,y,z)=2H(x)−Y (x,y).

Сучетом (1.15), (1.16) запишем

Y (x,y,z)=2H(x)−H(x)+ H(x / y)= H(x)+ H(x / y).

Поскольку

H(x),H(x / y)≥0,

очевидно, что

Y (x,y,z)≥ Y (x,y).

Этот результат вытекает непосредственно из (1.14), так как мера измерения количества информации учитывает число возможных состояний системы: (x,y,z) > (x,y). В случае независимости x, y, z из (1.21) и (1.9) получаем:

Y (x,y,z)=0 и Y (x,y)=0,

так как

H(z/x,y)= H(z) и H(y/x)= H(y).

1.7.4.  Единицы количества передаваемой информации в телекоммуникационных системах

Земля совершает за 365,25 суток полный оборот вокруг Солнца, проходя за это время около 940 миллионов километров. Следовательно, мы несемся в космическом пространстве со скоростью более 107 000 км/ч. А как передавать при этом сообщения и определять их ценность? В середине XX века на расстояния до 30 км передавались по беспроводной связи голосовые сообщения и телеизображения. На гораздо большие расстояния передавались голосовые данные по проводной связи. Однако тысячи километров медного провода не могли обеспечить скоростную передачу все возрастающих объемов информации.

Еще более высокие требования предъявлялись при передаче телеизображений, которая велась с помощью электросвязи по радиоканалу. Но по мере удаления от источника излучения радиосигнал ослабевает, поэтому для передачи на большие расстояния его надо где-то принять, усилить и направить дальше. Сегодня можно увидеть башни ретрансляторов, использующихся в основном для передачи телевизионных сигналов. Была решена задача сделать спутник-ретранслятор, передающий информацию от одной наземной станции к другой.

В настоящее время создано большое число различных систем спутниковой связи, например в России: «Ямал», «Галс», «Горизонт», «Экспресс». Таким образом, разместив ретранслятор на космическом аппарате, можно принять сигнал от передающих наземных станций, обработать его и направить на приемные наземные станции. Именно таким образом в настоящее время ведется обмен телепрограммами, передача многоканальных телеграфных сигналов (газетные полосы и т.д.), цифровой информации, интернет-связь и т.д. между удаленными наземными пользователями.

Передача информации как совокупности сведений о ка- ких-либо событиях, явлениях – это процесс переноса ее из одной точки пространства в другую. Информация, подлежащая передаче и выраженная в определенной форме, является сообщением. Ценность любых сведений, содержащихся в переданном сообщении, характеризуется количеством заключенной