Теория информации / Заочн. фак / Метод. обеспечение / Сб.зад.и упр

Р

0 0.5 1.0

Рис. 3.1.

3.2.Дискретный источник X описывается матрицей

Определить, при каких значениях P_k (k=) энтропия H(X) максимальна и равна H_max=H₀(X)=log N.

Указание : использовать свойства энтропии , а также метод неопределенных множителей Лагранжа (поиск условного экстремума ).

Решение 3.2.

Воспользуемся методом неопределенных множителей Лагранжа.

Откуда

Откуда .

Тогда :

3.3.Записать соотношения между энтропиями H(X), H(Y), H(X/Y), H(Y/X), H(XY) в случае, если :

а) X и Y статистически независимы ;

б) X и Y статистически зависимы.

Решение 3.3.

а )

Аналогично H(Y / X)=H(Y).

б )

3.4.Пусть x ₁,x₂ -входные буквы ; y₁ ,y₂ ,y₃ -выходные буквы дискретного канала. Обе входные буквы появляются с одинаковыми вероятностями, а последовательные буквы статистически независимы (и при заданных входных буквах выходные буквы независимы).Условные вероятности P(y_i /x_k ) задаются следующей таблицей (3.1):

Таблица 3.1

xk yi	y1	y2	y3
x1	1/32	61/64	1/64
x2	1/32	1/64	61/64

Вычислить и построить функцию распределения для случайной величины I(x_k ;y_j ) .Вычислить математическое ожидание и дисперсию I(x_k ;y_j ).

Решение 3.4.

;

;

;

3.5.По исходным данным задачи 2.4. вычислить энтропию входных и выходных сообщений, среднее количество информации, теряемой в канале связи вследствии помех, а также среднюю взаимную информацию на выходе канала относительно входных сообщений. Определить при каком q множества X , Y статистически независимы. Построить график двух последних вышеуказанных величин в функции q.

Решение 3.5.

При q=0.5 множества X и Y статистически независимы. Графики H(X/Y) и I(X,Y) в функции q представлены на рис.3.2.

[бит/сообщение]

1

g

0 0.5 1.0

рис. 3.2.

3.6.Для источника X с матрицей

и дискретной системы, заданной графом переходных вероятностей P(y_j /x_k ) вида:

Рис. 3.3.

Определить H(Y), H(Y/X), I(X;Y), H(X/Y).

Решение 3.6.

Откуда :

p ( y₁ ) = 1/4 ; p ( y₂ ) = 1/4 ; p ( y₃ ) = 1/8 ;

p ( y₄ ) = 1/8 ; p ( y₅ ) = 1/8 ; p ( y₆ ) = 1/8 .

[бит/сообщение]

[бит/сообщение]

3.7.Для заданных источника X

и дискретного канала P , описываемого графом ,

Рис. 3.4.

найти H(Y), H(Y/X), H(X/Y), I(X;Y).

Решение 3.7.

p ( y₁) =1/4 ; p ( y₂) =1/4 ;

p ( y₃) =3/8 ; p ( y₄) =1/8 .

H ( Y ) = 5/2 - 3/8 log 3 [бит/сообщение] ;

H ( Y / X ) = 1/2 [бит/сообщение] ;

I ( X;Y ) = 2 - 3/8 log 3 [бит/сообщение] ;

H ( Y / X ) = H ( Y ) - I ( X;Y )= 3/8 log 3 - 1/4 [бит/сообщение] .

3.8.Статистически независимые сообщения источника X

передается по одному из двух вариантов дискретных каналов P с матрицами:

а)

б)

Определить : H(X); H(Y); H(Y/X); H(X/Y); I(X;Y); H(XY); I(X ²;Y² ); H(X² ); H(X² /Y² ).

Решение 3.8.

a ) H ( X ) = - p log p - (1 - p) log (1 - p)

[бит/сообщение].

;

;

;

б ) [бит/сообщение];

[бит/сообщение];

;

;

.

3.9.По исходным данным задачи 2.6. определить среднее количество информации , содержащейся в двоичной последовательности сообщений длиной L для пунктов а) и б) и сопоставить их между собой .

Решение 3.9.

а )

б) = LH ( X ) = -L [ P log P + (1 - P) log (1 - P) ].

В случае б) энтропия последовательности больше, чем в а).

3.10.Поисходным данным задачи 2.7 определить (. Построить графики в функции q.

Решение 3.10.

( бит/сообщение );

( бит/сообщение );

Графики и приведены в функции q на рис.3.3.

( бит/сообщение )

2

1

q

0 0.5 1.0

рис.3.5.

1.4 ЭНТРОПИЯ И СРЕДНЯЯ ВЗАИМНАЯ ИНФОРМАЦИЯ АНСАМ-БЛЕЙ НЕПРЕРЫВНЫХ СООБЩЕНИЙ

По аналогии с дискретными источниками ансамблей непрерывных сообщений с плотностями вероятностей W_x (x), W_y (y), W_y/x (y/x) описываются соответствующими дифференциальными энтропиями

(4.1)

При этом средняя взаимная информация, являющейся абсолютной информационной характеристикой взаимодействия ансамблей будет

(4.2)

Для класса непрерывных систем с аддитивным шумом и плотностью вероятностей W_n(n), независимым от входных сообщений , когда выходное сообщение связано со входным уравнением , имеют место следующие равенства

(4.3)

Если и имеют гауссовские распределения с дисперсиями и соответственно , то

(4.4)

где r_xy -коэффициент корреляции между X и Y .

При решении задач могут оказаться полезными следующие свойства вышеуказанных информационных характеристик :

1) H(X+K)=H(X); H(XK)=H(X)+log , где K-постоянная величина,

2) , где -дисперсия источника X.

Эпсилон-энтропией источника непрерывных сообщений xX называется величина

, (4.5)

где

(4.6)

или

(4.7)

Здеcь y -аппроксимирующее значение (цифровой эквивалент) сообщения x с погрешностью  по показателю верности I[(x,y)].

Значения эпсилон-энтропии источника X в среднеквадратической (4.6) или равномерной (4.7) метриках будут соответственно

0 . (4.8)

0 . (4.9)

Для гауссовского источника сообщений с дисперсией величины (4.8) ,(4.9) равны

(4.10)

(4.11)

З А Д А Ч И

4.1.Определить энтропию источника xX с распределением

Решение 4.1.

4.2.Сравнить энтропию непрерывных сообщений xX и yY , распределенных соответственно равномерно на интервале [-,] и нормально , если дисперсии их равны.

Решение 4.2.

4.3.Сравнить энтропии непрерывных стационарных источников сообщений xX и yY с плотностями вероятностей , представленных в графическом виде:

Рис. 4.1.

Выразить энтропии через дисперсии.

Решение 4.3.

DY = 1/12 .

H ( Y ) > H ( X ).

4.4.Определить энтропию источника X с плотностью вероятностей

Как влияет на величину энтропии увеличение в 2 раза а)m_x ;б)_x .

Решение 4.4.

a ) - не влияет .

б)

Увеличивается на 1 [бит/сообщение].

4.5.Сообщения нормального случайного источника xX с m_x =3B, =4мВт проходят через безинерционный усилитель с коэффициентом усиления K=16. Определить приращение энтропии выходного сообщения по сравнению с входным .

Решение 4.5.

[бит/сообщение].

4.6.Сообщения xX на выходе непрерывного источника X ограничен по уровню значениями a,b. Найти плотности вероятностей W_x(x), обеспечивающую максимально энтропию источника.

Указание: воспользоваться условиями решения вариационных задач на основе уравнения Эйлера и метода неопределенных множителей Лагранжа.

Решение 4.6.

Откуда :

Тогда с учетом имеем

4.7.Непрерывное сообщение xX со средним значением m_x и плотность W_x(x) может принимать только положительные значения W_x(x)=0 при x<0. Найти распределение W_x(x), которое при данных ограничениях обладает максимальной энтропией.

Решение 4.7.

.

Откуда

4.8.Чему равно приращение энтропии при изменении дисперсии непрерывного сообщения с до в случае :

а) нормального распределения ,

б) равномерного распределения ?

Решение 4.8.

а )

б )

4.9.По непрерывной системе связи , представленной на рис.(4.2).

Рис. 4.2.

передается гауссовский сигнал xX с дисперсией . В системе действуют аддитивные гауссовские шумы n₁ N₁ , n₂ N₂ с нулевым средним и дисперсиями и .

Определить H(Y), H(Z), H(Y/X), H(Z/X), H(X/Z), I(X;Y), I(X;Z) и сопоставить две последние величины.

Решение 4.9.

4.10.По непрерывной системе связи, представленной на рис. 4.3.

Рис. 4.3.

передаются пары непрерывных сообщений гауссовского источника X с дисперсией . В системе действуют гауссовские помехи с параметрами, аналогичными задаче 4.10.

Определить величину I(X² ;YZ) и сравнить ее с I(X;Y) при .

Решение 4.10.

При

1.5 ИНФОРМАЦИОННЫЕ МОДЕЛИ, ИЗБЫТОЧНОСТЬ И КОДИРОВАНИЕ ИСТОЧНИКОВ СООБЩЕНИЙ

Дискретный стационарный источник X с дискретным временем и памятью K-го порядка описывается условной энтропией (K+1) -го порядка

(5.1)

Мерой информационной избыточности дискретных сообщений источника X является величина

(5.2)

При обратимом кодировании последовательности сообщений длинной L источников дискретных сообщений с энтропией H_K+1(X) кодовым алфавитом yY с основанием M средняя длина кодового слова , приходящаяся на одно сообщение, лежит в пределах

, (5.3)

а избыточность равна . (5.4)

Аналогично, стационарные непрерывные источники с дискретным временем и памятью K-го порядка описывается условной дифференциальной энтропией

(5.5)

Энтропия гауссовского стационарного источника с памятью K-го порядка равна

(5.6)

где -определитель нормированной корреляционной матрицы ;

-алгеброическое дополнение элемента (1,1) матрицы (R ).

Для системы независимых стационарных гассовских векторов сообщений размерности N с корреляционными матрицами , связанных соотношением , информационные характеристики равны

(5.7)

(5.8)

Путем ортогонализации векторов с помощью ортонормированной матрицы Q такой, что:

(5.9)

где  и V -диагональные матрицы с элементами (собственными числами ) _i и _i () матриц , удовлетворяющим уравнениям

(5.10)

При этом матрица Q размерности (N*N) с элементами из координат собственных векторов (), определяемых из уравнений

(5.11)

Отсюда выражения (5.7) и (5.8) примут вид

(5.12)

(5.13)

Нижние границы объема информации при квазиобратимом кодировании непрерывных сообщений определяются эпсилон-энтропией.

Эпсилон-энтропия H_() стационарного гауссовского вектора размерности N с корреляционной матрицей определяются в среднеквадратической метрике системой параметрических уравнений

, (5.14)

Здесь -собственные числа матрицы , а d² -параметр (5.14).

Эпсилон-энтропия H_({X⁽ⁱ⁾}_i) стационарной гауссовской непрерывной последовательности сообщений с энергетическим спектром G_x(f) удовлетворяет системе уравнений

(5.15)

Здесь d² -параметр уравнения (5.15).

Эпсилон-энтропия гауссовских стационарных процессов X(t) с энергетическим спектром G_X(f) определяются в виде

(5.16)

где 1/2-значение параметрической прямой .

Для процессов Баттерворта N-го порядка справедлива следующая оценка эпсилон-энтропии