Методическое пособие 280

Задача 2.3.2.Даны значенияH(X)и H(Y).В каких пределах меняется H(x, y)от минимального до максимально возможного значений?

Ответ: От 0 до H(X).

Задача 2.3.3.Определить среднюю взаимную информацию между двумя буквами алфавита, если известно, что средняя энтропия алфавита равна 5 бит, а энтропия на пару букв равняется 8,3 бита.

Ответ:1,7 бита.

Задача 2.3.4.Какое количество информации в среднем получает человек, определяющий день рождения своего собеседника, когда последний сообщает ему месяц, в котором он родился?

Ответ: 3,6 бита.

Задача 2.3.5.Информация передается путем изменения амплитуды сигнала x, распределенной по нормальному закону с параметрами − среднее значение m(x) = 0 volt и дисперсия D(x) = 16 volt2. Величина X измеряется регистрирующим устройством с погрешностью Z, не зависящей от амплитуды сигнала и также распределенной по нормальному закону со средним значением m(z) = 0 volt и дисперсией D(z) = 9 volt2.

Определить количество информации I(X,Y) о величине X, содержащееся в результатах измерения Y=X+Z.

Ответ. Количество получаемой информации о величине X при регистрации результата измерения Y=X+Z в среднем на одно измерение

1

( ) = log2 [√ ( ) ( ) + 1] ;

I(XY) = 0.737 bit.

Примечание. Среднее количество информации I(X,Y) определяетсяразностью энтропий результата измерения H(Y) и

20

погрешности измеренияH(Z) при условии нормального распределения величин Z и Y соответственно сдисперсиями D(z)

и D (y) = D(x) + D(z).

Задача 2.3.6. По каналу связи с одинаковыми вероятностями передаются m = 3 статистически независимых сигнала xi(i = 1 .. m). При отсутствии помех передаваемому сигналу xj соответствует на выходе канала сигнал yj(j = 1 .. m). При наличии помех каждый передаваемый сигнал может быть свероятностью p = 0.8 принят правильно и с вероятностью q = 1 - p искажени перейти при этом в любой из остальных выходных сигналов.

Определить среднее количество информации на один сигнал, передаваемое по каналу при наличии и отсутствии помех.

Ответ. Среднее в расчете на один сигнал количество информации, передаваемое по каналу при отсутствии помех,

( ) = log2( );

I(Y) = 1.585 bit.

Среднее количество информации, передаваемое по ка-

налу при наличии помех,

( ) = log2 + log2 + log2 − 1 ;

Определить среднее количество взаимной информации

I(X,Y).

Ответ. Так как величины X и Y независимы, то взаимная информация I(X,Y)=0.

21

Задача 2.3.8. Радиолокационная станция РЛС противника может работать в метровом диапазоне d1 или в дециметровом диапазоне d2, а также в режиме обзора r1 или в режиме наведения r2. Совместные вероятности этихсобытий описываются матрицей

( ) = (0.150.6 0.050.2 ).

Вычислить количество частной информации I(R,dj), получаемой относительно режима R(r1,r2) работы РЛС, если система обнаружения сообщает диапазон dj работы станции.

Ответ. Частная информация

( ) = (00..041372) ; ( 1) = 0.041 ; ( 2) = 0.372 .

Задача 2.3.9. Система передачи информации характеризуется матрицей P(X,Y) совместных вероятностей

Определить среднее количество взаимной информации I(X,Y) и количество частной информации I(X,yj), содержащейся в сообщении yj приемника об источникеX в целом.

Ответ. Количество полной и частной информации соот-

ветственно

0.025

( ) = 0.123 ; ( ) = [0.415] . 0.025

22

3. ОЦЕНКА ИНФОРМАЦИОННЫХ ХАРАКТЕРИСТИК СИСТЕМ

3.1. Основные сведения

Избыточность источника оценивается коэффициентом

где τ(x) − средняя длительность одного сообщения; ν(x) − средняя скорость создания сообщения источником, ν(x) = 1 / τ(x).

Единица измерения производительности → 1 бит/с.

Скорость передачи информации по каналу − это коли-

чество информации на выходе за одну секунду,

где νk= 1 / τ(k) − средняя скорость передачи сообщения по каналу; τ(k) − средняя длительность сообщения в канале связи.

Важнейшая характеристика канала − это пропускная способность. Она определяется как максимально возможная скорость передачи информации по каналу связи

C = v(k)max{I(YX)} [дв.ед./с] или [бит/c]. (3.4)

Пропускная способность дискретного канала без помех

23

Пропускная способность двоичного симметричного ка-

нала связи c канальной матрицей

где p0 − вероятность ошибки, определяется выражением

C = ν(k) [ log2 2 + p0 log2p0 + (1− p0) log2 (1− p0)] . (3.6)

Согласно теореме Шеннона о кодировании для дискретного канала с помехами: если источник имеет энтропию H(X), а канал связи – пропускнуюспособность C, то сообщение источника всегда можно закодировать так, чтоскорость их передачи ν (k)будет близка к величине

гдеI(Y X) = H(X) −H(ξ) ; H(ξ) − энтропияпомехи; fk− граничная частота пропускания канала;

Pxk − средняя мощность сигнала, допускаемая в канале; Pξ− средняя мощность помехи в канале; ρ = Pxk/ Pξ− от-

ношение сигнал-помеха.

Максимальное количество информации, которое можно передать по каналу связи за время Tk,

24

3.2. Типовые примеры

Пример 3.2.1. По двоичному симметричному каналу связи с помехами передаются два сигнала x1 и x2с априорными вероятностями P(x1)=3/4 и P(x2)=1/4. Из-за наличия помех вероятность правильного приема каждого из сигналов уменьшается до 7/8. Длительность одного сигнала τ = 0.1 sec. Требуется определить:

1)производительность и избыточность источника;

2)скорость передачи информации и пропускную способность канала связи.

Решение. Воспользуемся результатами решения примера 2.2.1, в котором получены:

условные вероятности P(yj/xi) приема сообщений y1, y2при условии передачи сообщений x1, x2

количество информации на входе канала в расчете на одно сообщение

I(X) = 0.811 bit;

среднее количество взаимной информации I(YX) в расчете на одно сообщение

I(YX) = I(X) – H(X/Y);I(YX) = 0.352 bit.

Рассчитаем на их основе информационные характеристики источника и канала связи:

1)согласно (3.2), производительность источника

2) согласно (3.1), избыточность источника при максимальном количестве его информации I max= 1.

25

3) согласно (3.3), скорость передачи информации

4) согласно (3.6), при вероятности ошибки p0= P(y1/ x2)илиp0= P(y2/ x1) пропускная способность канала на сигнал

С1 = 1 + 0 log2 0 + (1 − 0) log2(1 − 0)

и составляет C1 = 0.456 bitна один сигнал, а пропускная способность в единицу времени

= 1 ; = 4.564 ⁄ .

Сравнение C и Ĩ показывает, что пропускная способность данного канала не обеспечивает передачи информации со сколь угодно малой вероятностью ошибки путем помехоустойчивого кодирования, поскольку Ĩ>C (согласно теореме Шеннона).

Пример 3.2.2. Число символов алфавита источника i = 1

.. 4 (илиj = 1 .. 4). Вероятности появления символов источника

P(x1) = 0.5, P(x2) = 0.25 , P(x3) = 0.125 и P(x4) = 0.125 .

Между соседними символами имеются корреляционные связи, которые описываются матрицей условных вероятно-

стейP(xi/xj):

26

например, P(x2/x2) = 0.5.

Требуется определить избыточность источника R1 при статистической независимости символов и R2 при учете зависимости между символами.

Решение. Для оценки избыточности нужно найти безусловную энтропию H1(X) и условную энтропию H2(X/X) источника.

В случае не учета статистической связи на основании

(1.1) для H1(X) имеем

4

1( ) = − ∑ ( ) log2 ( );

=1

H1(X) = 1.75 bit.

С учетом корреляционной связи на основании (1.5) или

(1.7)

4 4

2( ⁄ ) = − ∑ ( ) ∑ ( ⁄ ) log2 ( ⁄ );

=1 =1

H2(X/X) = 0.887 bit.

Максимально возможная энтропия источника с четырьмя символами определяется мерой Хартли

27

Пример 3.2.3. По каналу связи передается ансамбль из 3- х сигналов xi,i= 1 .. 3 с длительностью τ= 0.01 sec и частотой следования F = 1/τ. Источник сигналов имеет матрицу P(x) безусловных вероятностей

0.4

( ) = (0.3) ; т. е. ( 2) = 0.3. 0.3

Канал связихарактеризуется при p1= 10 -2, p2=2*10-2, p3= 0.97 иматрицей условных вероятностей P(yj/xi), где yj, j = 1 .. 3 − ансамбль сигналов на выходе канала (т.е. приемника).Определить пропускную способность канала. Сравнить производительность источника и пропускную способность канала.

Решение. По условию задачи скорость v(x) создания сигналов и скорость v(k) их передачи по каналу равны, т.е. v(x)=v(k). Эти скорости соответствуют частотеследования сиг-

налов, т.е.v(x) = Fи v(k) =F .

Согласно определению (3.5), пропускная способность

C = v(k) max{I(YX)}=Fmax{I(YX)},

где максимум ищется по всем распределениям вероятностей

P(X) и P(Y).

Найдем безусловные вероятности P(yi):

3

( ) = ∑ ( ) ( ⁄ ) →

=1

→ ( 1) ( ⁄ 1) + ( 2) ( ⁄ 2) + ( 3) ( ⁄ 3).

Следовательно,

( 1) = ( 1) 3 + ( 2) 2 + ( 3) 1;( 2) = ( 1) 1 + ( 2) 3 + ( 3) 2;( 3) = ( 1) 2 + ( 2) 1 + ( 3) 3;

28