Методическое пособие 362

Задача 1.3.6.Определить энтропию иерархической системы, заданной графом (рис. 2), если каждый элемент системы может с равной вероятностью находиться в четырех состояниях.

Рис. 2. Граф к задаче 1.3.6

Ответ. m = 4; N = 2; K = 3; H = 26 бит/состояние.

Задача 1.3.7. Определить энтропию телевизионного изображения, воспроизводимого телевизионным приемником «Сла- вутич-204», если у него разрешающая способность линий не менее 500, число градаций яркости 6 – 8, а условное число элементов строки — 700.

Ответ. Hи = knHэ. Если предположить градации яркости равновероятными и взаимонезависимыми, то

Hэ = log28 = 3 бит/элемент;

Hи =500 · 700 · 3 = 1050000 бит/изображение.

9

2.ОЦЕНКА ЭНТРОПИЙНЫХ ХАРАКТЕРИСТИК

2.1.Основные сведения

2.1.1.Дискретные случайные величины

Вероятностная мера неопределенности Шеннона или энтропия дискретной случайной величины имеет вид

где P(xi) − вероятность появления i-го значения xi случайной величины X;

log2 (1 ) = − мера неопределенности i-го значения; знак ми-

нус понимается как наличие «беспорядка» для величины X

[1, 4].

Формулу (2.1) можно записать в компактном виде

H(X)=M[-log2P(x)],

где log2P(x) − дискретная случайная величина, для которой i-е значение log2P(xi) имеет вероятность P(xi).

Энтропия максимальна, когда значения случайной величины равновероятны

1( 1) = ( 2) = = ( ) = = .

Тогда

где log2N – мера Хартли.

10

В этом случае статистическая мера Шеннона совпадает с комбинаторной мерой Хартли.

Энтропия системы дискретных случайных величин X и Y

=1 =1

где P(xi , yj)− вероятность совместного появления i-го и j-го значений случайных величин X и Y, или в форме математического ожидания

H(X,Y) = Μ[−log2 P(X,Y)] ,

где log2P(X,Y) − случайная величина, принимающая значения согласно матрице совместного распределения, и для которой значение log2P(xi,yj) имеет вероятность P(xi,yj).

Энтропия системы зависимых величин

где H(X) − безусловная энтропия величины Х; H(Y) − безусловная энтропия величины Y;

H(Y/X) − условная энтропия величины Y относительно величины Х;

H(X/Y) − условная энтропия величины X относительно Y.

Для независимых величин

H(X/Y) = H(X) иH(Y/X) = H(Y).

Условная энтропия X относительно Y

где P(xi/yj) − вероятность значения xi величины X при условии,

11

что величина Y приняла значение yj (условная вероятность). Условная энтропия величины X относительно значения

yj величины Y

( ⁄ ) = − ∑ ∑ ( ⁄ ) log2 ( ⁄ ). (2.6)

Условная энтропия Y относительно X

( ⁄ ) = − ∑ ∑ ( , ) log2 ( ⁄ ). (2.7)

2.1.2.Непрерывные случайные величины

Энтропия непрерывной случайной величины

∞

( ) = − ∫ ( ) log2 ( ) − log2 ∆ , (2.8)

−∞

где p(x) − плотность вероятности случайной величины X; Δx − шаг ее квантования, определяющий точность перехода от непрерывной величины к дискретной [3, 7].

При Δx=1 имеем дифференциальную или относитель-

ную энтропию

∞

Энтропия системы непрерывных случайных величин XиY

∞ ∞

( , ) = − ∫ ∫ ( , ) log2 ( , ) −

12

где p(x,y) − совместная (безусловная) плотность вероятности двух случайных величин X и Y.

Дифференциальная энтропия системы двух случайных величин

∞∞

д( , ) = − ∫ ∫ ( , ) log2 ( , ) , (2.11)

−∞ −∞

Условная дифференциальная энтропия X относительно Y

∞ ∞

д( ⁄ ) = − ∫ ∫ ( , ) log2 ( ⁄ ), (2.12)

−∞ −∞

где p(x/y) − условная плотность вероятности.

Условная дифференциальная энтропия величины X относительно значения y величины Y

∞∞

д( ⁄ ) = − ∫ ∫ ( ⁄ )log2 ( ⁄ ). (2.13)

−∞ −∞

2.2. Типовые примеры

Пример 2.2.1. Имеются три дискретных источника информации X(x1,x2), Y(y1,y2,y3) и Z(z1,z2). Вероятности появления сообщений P(xi), P(yi) и P(zi) каждого источника заданы при p = 1/2, q = 1/3 и векторами

Px= ( p p )Т , Py= ( q qq )Т и Pz= ( p 2q )Т .

Требуется определить, какой источник обладает большей неопределенностью.

Решение. Сначала определим единицы измерения количества энтропии:

13

а) при натуральном логарифме (нат) − nit · ln( e ); б) при двоичном логарифме (бит) –bit · nit×ln ( 2 ). На основании (2.1) энтропии источников:

• первого H(X)

2

( ) = − ∑ ( ) log2 ( ) = −2 log2

=1

исоставит H(X) = 1 бит;

•второго H (Y)

3

( ) = − ∑ ( ) log2 ( ) = −3 log2

=1

исоставит H (Y) = 1.585 бит;

•третьего H (Z)

2

( ) = − ∑ ( ) log2 ( ) = − log2 − 2 log2(2 )

=1

и составит H (Z) = 0.89 бит.

Таким образом, в случае равновероятных сообщений большей неопределенностью обладает троичный источник Y. При этом неопределенность может быть подсчитана так же как мера Хартли, равная logN, где N − число равновероятных сообщений. Сравнение двоичных источников X и Z показывает, что большей неопределенностью обладает источник с равновероятными сообщениями.

14

Пример 2.2.2. Число символов алфавита источника N = 4 (i = 1 .. Nили j = 1 .. N). Вероятности появления символов источника

P(x1)= 0.5, P(x2)=0.25, P(x3)= 0.125 и P(x4)= 0.125 .

Между соседними символами имеются корреляционные связи, которые описываются матрицей условных вероятностей P(xi/xj) следующего вида

Требуется определить энтропию источника.

Решение. Ввиду зависимости между символами неопределенность источника характеризуется условной энтропией H(X/X). С учетом корреляционной связи и соотношения

P(xi , yj) = P(yj)P(xi /yj)

на основании (2.5) условная энтропия

4 4

( ⁄ ) = − ∑ ( ) ∑ ( ⁄ ) log2 ( ⁄ ).

=1 =1

H(X/X) = 1.016 бит.

15

Пример 2.2.3. Ансамбли событий X и Y объединены, причем вероятности совместных событий определяются матрицей P(XY) совместных вероятностей:

т.е. p(xi, yj) = 0.25.

Требуется определить:

а) энтропии ансамблей X и Y;

б) энтропию объединенного ансамбля; в) условные энтропии ансамблей.

Решение. Найдем безусловные вероятности P(xi) и P(yj)

при i = 1 .. 3 и j = 1 .. 2:

На основании (2.1) вычислим энтропии ансамблей:

( ) = − ∑ ( ) log2 ( )

H (X) = 1.513 бит;

( ) = − ∑ ( ) log2 ( );

H(Y) = 0.994 бит.

16

На основании (2.3) энтропия объединенного ансамбля

( ) = − ∑ ∑ ( , ) log2 ( , )

H (XY) = 2.228 бит.

Так как согласно (2.4), энтропия объединения

H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y),

то условные энтропии будут

H(Y/ X) = H (XY) - H(X) ; H(Y/X) = 0.715 bit.

H(X /Y) = H (XY) - H(Y) ; H(X/Y) = 1.234 bit.

Пример 2.2.4. Ракеты двух пусковых установок используются для поражения двух целей. Ракета, пущенная с первой установки, поражает цель № 1 с вероятностью 0,5; цель № 2 – с вероятностью 0,3 и дает промах с вероятностью 0,2. Ракета второй установки поражает первую цель с вероятностью 0,3; вторую – с вероятностью 0,5 и вероятность промаха равна 0,4. Чему равна неопределенность выбора установки, если известно, что поражена вторая цель; если произошел промах; какова неопределенность исхода, когда пущена любая ракета?

Решение. Составляем вероятностную схему. Полагаем, что вариант поражения целей соответствует случайной переменной Y, а выбор ракетной установки – X. Вероятности поражения целей ракетами различных установок есть условные вероятности

=|0.5 0.3 0.2|.

0.30.5 0.2

17

Матрица P(X) имеет вид

P(X) = | p(x1) p(x2) | = |0.4 0.6|.

Определяем элементы матрицы P(XY):

( ) = ( ) ( ⁄ ),

имеем

С помощью P(XY) могут быть найдены все необходимые для расчета данные. Неопределенность исхода при условии, что поражена вторая цель, представляет собой энтропию

2

( ⁄ 2) = − ∑ ( ⁄ 2) log2 ( ⁄ 2).

=1

H(X/y2) = 0.888.

Неопределенность в случае промаха есть энтропия

2

( ⁄ 3) = − ∑ ( ⁄ 3) log2 ( ⁄ 3).

=1

H(X/y3) = 0.68.

Неопределенность ситуации, если запущена любая ракета, характеризуется средней условной энтропией

2 3

( ⁄ ) = − ∑ ( ) ∑ ( ⁄ ) log2 ( ⁄ ).

=1 =1

H(y/x) = 1.485.

18