Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Элементы теории информации в защите информации. Учебное пособие для академического бакалавриата
.pdf
4.4. Условная энтропия ансамбля
( ) ( )
, log /
xX yY
pxy px y
∈∈
∑∑
( ) ( )
log
xX
px px
∈
∑
( ) ( )
, log /
xX yY
pxy px y
∈∈
∑∑
( ) ( )
∑∑
( )
Условная энтропия обладает следующими свойст-
вами.
1. Неотрицательность: H(X/Y) ≥ 0.
2. Условная энтропия не превышает безусловной эн-
тропии: H(X/Y) ≤ H(X), где H(X/Y) = H(X) ⇔ ансамбли
X и Y независимы, то есть p(x,y)=p(x)p(y) для любой пары
сообщений (x,y).
3. Для любых ансамблей X, Y
H(XY) = H(X) + H(Y/X) = H(Y) + H(X/Y).
4. Для произведения ансамблей X
, …, Xn выпол-
1
нено:
H(X
) = H(X1) + H(X2/X1) + … + H(Xn / X1,…,X
1…Xn
n-1
).
5. Для любых ансамблей X, Y, Z
H(X/YZ) ≤ H(X/Y),
где H(X/YZ)=H(X/Y) ⇔ ансамбли X и Z условно независимы при любом y∈Y. Это свойство обобщает свойство 2.
6. Для любых ансамблей X
H(X
) ≤ H(X1) + … + H(Xn),
1…Xn
где равенство верно, только если ансамбли X
, …, Xn
1
, …, Xn неза-
1
висимы в совокупности.
Свойство 1 верно, так как функции энтропии и услов-
ной энтропии неотрицательные.
Для доказательства свойства 2 покажем неположи-
тельность разности левой и правой частей неравенства.
В силу свойств функции «логарифм»имеем:
H(X/Y) – H(X) = –
=
= –
+
xX yY
∈∈
∑∑
xX yY
∈∈
, log
pxy px
, log
p xy
( )
— 61 —
px y
=
px
/
( )
+
+
.
Глава 4. Количество информации и энтропия
( )
( )
( )
, ( 1)log
/
xX yY
px
p xy e
px y
∈∈
−
∑∑
ye
(,
В соответствии со свойством натурального логариф-
ма lna≤a-1 (см. рисунок 4.1) отсюда получаем:
H(X/Y) – H(X) ≤
=
xX yY
pxpy px
=
)log =0.
Это свойство можно доказать также с использовани-
ем выпуклости функции энтропии.
Докажем свойства 3 и 4. По формуле вероятности со-
вместного события:
p(x
,…,xn) = p(x1)p(x2/x1)…p(xn/x1,…,x
1
n-1
).
Обе части равенства прологарифмируем и затем,
усреднив по всем случайным переменным, получим свойство 4 и в качестве частного случая свойство 3.
В соответствии с данными свойствами дополнительная информация об ансамбле X, содержащаяся в сообщениях других ансамблей, в среднем (так как не всегда
H(X/y)≤H(X)) уменьшает информативность (неопределенность) ансамбля X.
Пример 4.5. Найдем условные энтропии H(X/Y)
и H(Y/X) для двоичных ансамблей X и Y, где распределение пар знаков в ансамбле XY задано матрицей:
0 1
0 p(0,0)=0,2 p(0,1)=0,25
1 p(1,0)=0,45 p(1,1)=0,1
Отсюда H(XY) ≈1,8151.
Обозначим вероятности «0»и «1»в ансамбле X через
p(0) и p(1) и в ансамбле Y через q(0) и q(1). Тогда в соответствии с третьим условием вероятностного пространства
(раздел 2.2) верны равенства:
p(0)=p(0,0)+p(0,1)=0,45; p(1)=0,55; H(X)≈0,9929;
q(0)=q(0,0)+q(1,0)=0,65; q(1)=0,35; H(Y)≈0,9342.
— 62 —
4.5. Энтропия ансамбля последовательностей ДПИ
( )
( ) ( )
1, 0
1,0 0,0
p
pp+
Отсюда H(X/Y) = H(XY) – H(Y) ≈0,8809; H(Y/X) =
= H(XY) – H(X) ≈0,8222.
Пример 4.6. Найдем условные энтропии H(X/0)
и H(X/1) для двоичных ансамблей X и Y из примера 4.5.
Найдем все условные вероятности: например,
p(1/0)=
0 p(0/0)=4/13 p(1/0)=9/13
1 p(0/1)=5/7 p(1/1)=2/7
=9/13. Итак,
0 1
Отсюда в соответствии с (4.4) H(X/0) ≈ 0,8926;
H(X/1) ≈0,8615.
4.5. Энтропия ансамбля
последовательностей ДПИ
Пусть ДПИ порождает последовательность {x1,x2,…,
x
,…} над алфавитом X. Из свойства стационарности сле-
t
дует, что распределение как отдельных букв, так и энтропии источника не зависят от t. Эту энтропию назовем
одномерной энтропией источника и обозначим ее H
Для зависимых последовательностей величина H
не определяет полностью информационные характеристики источника, так как не учитывает зависимости
букв.
Для учета такой зависимости применим два возможных подхода. При первом подходе рассмотрим последовательность букв источника X
является набор x=(x
,…,xn)∈Xn. Энтропия H(Xn) в силу
1,x2
n
, n>1, то есть буквой
стационарности не зависит от расположения набора
во времени. Ее называют n-мерной энтропией источника.
(X).
1
(X)
1
— 63 —
Глава 4. Количество информации и энтропия
( )
n
( )
HX
( )
Величина H(Xn) определяет среднее количество информации в наборе из n букв. Нормированную величину
n
H
n
(X) =
HX
(4.5)
называют энтропией на букву в наборе (в последовательности) длины n. Эта величина может рассматриваться как
мера информативности источника в случае зависимых
букв алфавита.
При втором подходе положим, что до получения
буквы x
x
, x2, …, x
1
передаче x
H(X
∈X декодеру известны все предыдущие буквы
n
. Тогда среднее количество информации при
n-1
определяется величиной условной энтропии
n
n/X1
,…,X
). Так как в силу стационарности распо-
n-1
ложение букв на эту величину не влияет, а важно лишь
количество предыдущих букв, то корректным для оценки информативности источника является использование
обозначения:
H(X
n/X1
,…,X
) = H(X/X
n-1
n-1
).
Соотношение между двумя введенными мерами информативности источника устанавливает следующая теорема.
Теорема 4.1. Для ДПИ:
1) величина H(X/X
2) величина H
3) H
(X) ≥ H(X/X
n
4)
lim
n
→∞
=
n
n
) не увеличивается с ростом n;
(X) не увеличивается с ростом n;
n
n-1
) при n>1;
lim / .
HX X
n
→∞
n
Доказательство. Первое утверждение следует из невозрастания энтропии с увеличением множества условий.
Из свойства условной энтропии имеем:
n
H(X
) = H(X) + H(X/X) + H(X/X2) + … + H(X/X
n–1
).
В правой части записаны n слагаемых в порядке убывания, так как число условий растет. Следовательно,
— 64 —
4.5. Энтропия ансамбля последовательностей ДПИ
( )
HX
( )
( )
HX
H(Xn) ≥ nH(X/X
n-1
).
После деления на n обеих частей неравенства получа-
ем третье утверждение.
Докажем второе утверждение. С учетом свойства ус-
ловной энтропии имеем:
n+1
H(X
) = H(Xn)+H(X/Xn).
Отсюда, используя утверждения 1 и 3, получаем:
H(X
n+1
) ≤ H(Xn)+H(X/X
n-1
) ≤ H(Xn)+Hn(X).
В соответствии с определением H
(X) из последнего
n
неравенства получаем:
n+1
H(X
) ≤ (n+1)Hn(X).
Разделив обе части неравенства на n+1, получаем
второе утверждение.
Последовательности {H
(X)} и {H(X/Xn)} неотри-
n
цательные, значит, ограничены снизу, и не возрастают
по утверждениям 1 и 2. Отсюда пределы обеих последовательностей существуют. Из утверждения 3 имеем:
n
(4.6)
lim
n
→∞
≥
lim / .
n
HX X
n
→∞
Вместе с тем, при любых натуральных m и n, m<n,
в силу свойств условной энтропии выполнено:
n
H(X
) = H(Xm)+H(X
+H(X/X
n-m/Xm
m+1
) = mHm(X)+H(X/Xm)+
)+…+H(X/X
n-1
).
Следовательно, с учетом невозрастания последова-
тельности H(X/X
m
) имеем:
n
H(X
) ≤ mHm(X)+(n–m)H(X/Xm).
Поделив обе части неравенства на n и перейдя к пре-
делу при n→∞, получаем верное при всех m неравенство:
lim
n
→∞
n
≤ H(X/Xm).
— 65 —
Глава 4. Количество информации и энтропия
( )
HX
( )
( )
HX
( )
Устремляя m→∞, получаем, что
lim / .
HX X
≤
n
→∞
n
Отсюда и из (4.6) следует утверждение 4
lim
n
→∞
≤
n
теоремы.
Обозначим:
H
(X)=
∞
lim
n
→∞
n
; H(X/X∞)=
lim / .
HX X
n
→∞
n
Таким образом, основной результат теоремы 4.1 состоит в том, что H
(X)=H(X/X∞). Именно эта величина,
∞
как показано ниже, определяет минимально возможные
затраты в битах на передачу одной буквы стационарного
ДИОС.
Итак, имеем 2 подхода к анализу информативности
стационарного ДИОС:
• введение расширенного алфавита, буквы которого
суть блоки из n символов источника;
• учет зависимости каждой буквы, начиная
с (n+1)-й, от n предыдущих букв.
В соответствии с утверждением 3 второй подход сулит более оптимистичные оценки при каждом конкретном n. Вместе с тем, в пределе оба подхода равносильные
в соответствии с утверждением 4.
Рассмотрим последовательности {H
(X)} и {H(X/Xn)}
n
для двух наиболее простых моделей ДИОС.
Пример 4.1. Энтропия на сообщение дискретного постоянного источника (ДПИ).
Для ДПИ (источника без памяти) выполнено:
H(X
1X2…Xn
) = H(X1)+H(X2)+…+H(Xn) = nH(X).
Поделив обе части равенства на n, получаем:
H
(X) = H(X) = H∞(X).
n
Этот результат следует также из независимости сообщений источника:
H(X/X
n
) = H(X
n+1/X1,X2
,…,Xn) = H(X) = H(X/X∞).
— 66 —
4.5. Энтропия ансамбля последовательностей ДПИ
Следовательно, в данной модели анализ информационных характеристик сводится к подсчету энтропии
одномерного распределения. Однако отсюда не следует,
что при кодировании источника независимых сообщений
следует кодировать каждую букву независимо от других.
Пример 4.2. Энтропия на сообщение ДИОС с марковской зависимостью букв.
Для стационарного источника при глубине зависимости s выполнено:
H(X/X
n
) = H(X/Xs).
Так как правая часть не зависит от n, то
H(X/X
∞
)=H(X/Xs).
При другом подходе, используя стационарность
и свойства условной энтропии, имеем:
n
H(X
) = H(X1…XsX
+H(X
s+1…Xn /X1…Xs
s+1…Xn
) = H(X1…Xs)+
).
Так как в силу свойства условной энтропии
H(X
s+1…Xn /X1…Xs
) = H(X
+…+H(X
s+1/X1…Xs
n/X1…Xn-1
)+H(X
),
s+2/X1…Xs+1
)+
то с учетом марковости и стационарности
H(X
s+1…Xn /X1…Xs
) = (n–s)H(X/Xs).
Значит,
n
H(X
) = sHs(X)+(n–s)H(X/Xs).
Поделив обе части равенства на n и устремив n→∞,
получим:
H
(X) = H(X/Xs).
∞
Следовательно, в данной модели анализ информационных характеристик сводится к подсчету энтропии
ДИОС с марковской зависимостью глубины s.
— 67 —
Глава 4. Количество информации и энтропия
0,05 0,1 0,2
0,1 0,07 0,1
0,18 0,1 0,1
4.6. Задачи и упражнения
4.1. Определите собственную информацию независи-
мых сообщений a, b, c ансамбля А={a,b,c}, если p(a)=0,1;
p(b)=0,4; p(c)=0,5. Определите энтропию ансамбля А.
4.2. ИОС использует алфавит {0,1,2,3} независимых
букв с распределением вероятностей {2/11, 3/11, 4/11,
2/11}. Определите собственную информацию сообщений:
а) Т
= 1012103022023301; б) Т2 = 1123000030333213.
1
Решение. а) В силу независимости букв источника
I(Т
) = 5I(0)+4I(1)+4I(2)+3I(3) =
= –8log(2/11)-4log(3/11) – 4log(4/11) =
= –16log2–4log3+16log11 = 16log5,5–4log3 = 33,011.
4.3. ИОС использует алфавит {0,1,2}. В модели независимых биграмм с матрицей вероятностей биграмм
(p
)=
ij
цию сообщений:
а) Т
=20101210212001; б) Т2=01220010211102.
1
4.4. ИОС использует алфавит {0,1}. В модели марковски зависимых букв с матрицей переходных вероятно-
стей (p
)=
i/j
(2/5;3/5) определите собственную информацию сообщений:
а) Т
4.5. Определите энтропию и избыточность ансамбля
А={a,b,c,d}, где
а) p(a)=0,1; p(b)=0,3; p(c)=0,2; p(d)=0,4;
б) p(a)=0,13; p(b)=0,34; p(c)=0,22; p(d)=0,3.
4.6. При каких n для ансамбля А={a
мо: H(А)=4,5; H(А)=9,5?
1
определите собственную информа-
0,25 0,75
0,8 0,2
=1010011011; б) Т2=0101001001.
1
и с начальным распределением
,…,an} выполни-
1
— 68 —
4.6. Задачи и упражнения
4.7. Источник над множеством А={0,1} с независи-
мыми символами порождает единицы с вероятностью
р. Определите энтропию и избыточность источника при
р=0,1; р=0,02.
4.8. Даны ансамбли А
1=А2=А3=А4
={a,b,c,d} с распределениями вероятностей (0,22; 0,24; 0,26; 0,28), (0,15;
0,24; 0,26; 0,35), (0,15; 0,23; 0,27; 0,35) и (0,21; 0,24;
0,26; 0,29) соответственно. Не вычисляя энтропии этих
ансамблей, расположите их в порядке возрастания энтропии.
4.9. Для ансамбля А={a,b,c,d,e} известны лишь вероятности p(a)=0,17 и p(e)=0,20. Определите наибольшее
возможное значение энтропии H(А) и наименьшее возможное значение избыточности ансамбля.
Решение. В силу свойства 5 значение энтропии наибольшее, если p(b)=p(c)=p(d). Отсюда в силу того, что сумма вероятностей всех букв ансамбля равна 1, получаем
p(b)=p(c)=p(d)=0,21. Тогда
H(А) = –0,17log(0,17) – 0,2log(0,2) –
– 3×0,21log(0,21) ≈2,317;
c(А) ≈0,0021.
4.10. Определите энтропию вероятностной схемы:
а) всех серий из n подбрасываний симметричной монеты;
б) бросания комплекта 5-и симметричных 6-гранных
игральных костей;
в) всех серий выборок (с возвращением) размера 10
в игре «русское лото».
4.11. Определите энтропию ансамбля всех сообщений
длины 2 в алфавите А={a,b,c}, если p(a)=0,23; p(b)=0,47;
p(c)=0,3 и используется модель сообщений с независимыми символами.
4.12. Имеется ансамбль А независимых букв. Найдите энтропию ансамбля H(А
k
):
— 69 —
Глава 4. Количество информации и энтропия
а) (n,k)=(2,4), H(Аn)=1,2;
б) (n,k)=(3,7), H(А
в) (n,k)=(5,14), H(А
г) (n,k)=(5,12), H(А
n
)=1,8;
n
)=2,55;
n
)=1,75.
Решение. а) В силу независимости букв источника
n
H(А
)=nH(А). Тогда
H(А)=0,6; H(А
4.13. Для ансамбля А
энтропию ансамбля H(А
а) (n,k)=(2,4), H(А
б) (n,k)=(4,8), H(А
в) (n,k)=(6,16), H(А
г) (n,k)=(8,12), H(А
k
n
)=1,6;
n
)=1,8;
n
n
4
)=4H(А)=2,4.
2
независимых биграмм найдите
):
)=2,55;
)=1,78.
4.14. В ансамбле А={a,b,c} выполнено: p(a)≤0,23;
p(b)=p(c). Оцените энтропию и избыточность ансамбля.
4.15. В ансамбле А={a,b,c,d} выполнено: p(a)=p(d)≥0,1;
p(b)=p(c)≥0,2. Оцените энтропию и избыточность ансам-
бля.
4.16. Ансамбли А=В={0,1}. Распределение на множе-
стве пар АВ задано так:
а) p(0,0)=3/20; p(0,1)=2/20; p(1,0)=9/20; p(1,1)=6/20;
б) p(0,0)=4/30; p(0,1)=1/30; p(1,0)=13/30; p(1,1)=12/30.
Являются ли ансамбли А и В статистически незави-
симыми?
Решение. а) В данных условиях H(АB)≈1,7824. Обо-
значим (p(1),p(0)) и (q(1),q(0)) распределение вероятностей в ансамблях А и В соответственно. Тогда
p(1)=p(1,0)+p(1,1)=0,75; p(0)=0,25; H(А)≈0,8113;
q(1)=p(0,1)+p(1,1)=0,4; q(0)=0,6; H(B)≈0,971;
Из свойства 3 условной энтропии имеем:
H(А/B) = H(АB) — H(B) ≈0,8114 ≈H(А).
Следовательно, ансамбли А и В являются статистиче-
ски независимыми.
— 70 —
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]