Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Приложения теории информации к задачам радиотехники. Учебное пособие
.pdf
1.5. Условная энтропия и ее свойства
В
А
…
…
a1
p(a1/b1)
p(a1/b2)
…
p(a1/bj)
…
p(a1/bm)
a2
p(a2/b1)
p(a2/b2)
…
p(a2/bj)
…
p(a2/bm)
… … … … … … …
ai
p(ai/b1)
p(ai/b2)
…
p(ai/bj)
…
p(ai/b1)
… … … … … … …
am
p(am/b1)
p(am/b2)
…
p(am/bj)
…
p(am/bm)
m
/
1
ABH
m
¦
j
1
. (29)
abpabp
/log/
ijij
Здесь необходимо разделить на m, так как энтропия есть неопреде-
ленность на один символ.
В случае неравновероятного появления символов источника сообщений следует учесть вероятность появления каждого символа, умножив
на нее соответствующую частную условную энтропию
m
i
m
¦¦
i
j
11
abpabpapABH
/log//
ijij
. (30)
При исследовании канала связи со стороны приемника сообщений
канальная матрица будет иметь следующий вид:
b1 b2
bj
bm
Соответственно потери информации в случае равновероятного и
неравновероятного появления символов источника сообщений могут быть
определены по аналогичным формулам частной и общей энтропии соответственно [13]:
m
ABH
/
На основе канальной матрицы p(b
роятности приемника p(a
приемника
пию приемника сообщений
), можно определить безусловные вероятности
i
m
¦
i
1
1
¦
m
i
1
m
j
m
¦¦
j
i
11
), если заданы безусловные ве-
j/ai
. Тогда можно вычислить энтро-
abpapbp
/log
ijij
m
¦
1
j
log
bpbpBH
, (31)
bapbap
/log/
jiji
. (32)
bapbapbpABH
/log//
jiji
. Аналогично на ос-
jj
51
1. Количественная оценка информации
нове канальной матрицы p(ai/bj), если заданы безусловные вероятности
приемника p(b
¦
j
сообщений
), можно определить безусловные вероятности приемника
j
m
1
. Тогда можно вычислить энтропию источника
bapbpap
/log
jiji
¦
i
m
log
1
.
apapAH
ii
Пример 15. Телекоммуникационная система осуществляет передачу
сообщений по незащищенному каналу связи, подверженному влиянию помех. Влияние помех задано в виде канальной матрицы следующего вида:
01,001,098,0
/ abp
.
1,075,015,0
5,02,03,0
Оценить количество энтропии сообщений, связанное с данным каналом связи:
а) определить полную условную энтропию при равновероятном появлении символов в сообщении;
б) в случае дифференцированных вероятностей с распределением:
) = 0,7, р(а2) = 0,2, р(а3) = 0,1.
р(а
1
Решение. При ответе на первый вопрос в случае равновероятного
появления символов в сообщении энтропия источника может быть определена по формуле Хартли
символбитAH /58,13log2
.
Для определения полной условной энтропии следует использовать
формулу (25), в которой благодаря равновероятности появления символов
можно сумму по i заменить множителем 1/m:
313
ij
1
3
1
/log//
ijiji
222
3
1
¦¦¦
3
1
j
./9,0)5,0log5,02,0log2,03,0log3,0
символбит
/log/
abpabpabpabpapABH
ijij
1,0log1,075,0log75,015,0log15,001,0log01,0298,0log98,0(
22222
При ответе на второй вопрос в случае неравновероятного появления символов в сообщении энтропия источника должна определяться по
формуле Шеннона
52
1.6. Энтропия объединения. Свойства энтропии объединения
.195,096,02,001,03,005,0
,314,004,02,098,03,003,05,0
,488,002,001,03,097,05,0
////
3
2
313212111
3
1
11
¦
bp
bp
abpapabpapabpapabpapbp
i
ii
3
¦
1
j
./156,1
символбит
apapAH
ii
)1,0log1,02,0log2,07,0log7,0(log
222
Полная условная энтропия равна
>
313
¦¦
ij
1
22
abpabpapABH
/log//
ijiji
)01,0log01,0298,0log98,0(7,0
1,0log1,075,0log75,015,0log15,02,0
222
@
222
символбит
./463,05,0log5,02,0log2,03,0log3,01,0
Пример 16. Определить энтропию приемника сообщений, если ка-
нальная матрица имеет вид
003,097,0
/ abp
,
01,098,001,0
96,004,00
а вероятности появления символов на выходе источника сообщений равны: р(а
зать, что вероятность приема символа b
вола a
вола b
стей перехода любого из передаваемых символов в b
) = 0,5, р(а2) = 0,2, р(а3) = 0,2.
1
Решение. Учитывая, что
, умноженной на условную вероятность правильного приема сим-
1
при передаче a1, плюс сумма произведений условных вероятно-
1
равна вероятности передачи сим-
1
1
, можно ска-
abpapbap /log,
ijiji
на вероятность по-
явления этих символов в сообщении, т.е.
3
¦
i
1
2
2
bpbpBH
jj
22
1.6. Энтропия объединения. Свойства энтропии объединения
Энтропия объединения используется для вычисления энтропии совместного объединения статистически зависимых сообщений. Общую энтропию зависимых ансамблей X и Y определяют по формуле Шеннона [14]:
317,0log317,0488,0log488,0(log
./490412,1459893,0525410,0505103,0195,0log195,0
символбит
53
1. Количественная оценка информации
11
11
11 11
,,log,
/ log{ / }
/log /log /.
mn
kj kj
kj
mn
kjk kjk
kj
mn mn
kjk k kjk jk
kj kj
HXY px y px y
px py x px py x
pxpyx px pxpyx pyx
¦¦
¦¦
¦¦ ¦¦
jkjk
mkn
¦¦¦¦
1111
j
n
j
jkk
./log//log
yxpyxpxpyxpxpxp
jk
/log/,log,,
yxpxpyxpxpyxpyxpYXH
jkkjkk
mkn
m
¦¦¦¦
1111
k
j
n
j
m
jkkk
k
С учетом условия нормировки, справедливого также и для сово-
купностей условных вероятностей
n
¦
j
1
yxp
jk
, получают
1/
Н(Х, Y) = H(X) + H(Y/X),
где Н(Х) – энтропия ансамбля Х; H(Y/Х) – условная энтропия ансамбля Y
при условии, что сообщение ансамбля Х известны:
m
¦¦
k
11
n
j
jkk
. (33)
./log//
yxpyxpxpXYH
jk
Формула (33) удобна при использовании также и для функцио-
нально зависимых элементов ансамбля Х, для этого достаточно принять
Y = X, откуда получим
m
¦¦
11
k
n
j
jkk
.
yxpyxpxpH
/log/'
jk
Энтропия объединения двух ансамблей сообщений определяется
суммой слагаемых вида по всем возможным состояниям объединения:
HXY px y px y
где р(x
, yj) – вероятность совместного появления двух статистически за-
k
висимых состояний x
mn
,,log,
и yj.
k
¦¦
kj
11
kj kj
, (34)
Поскольку вероятность совместного появления двух состояний
может быть выражена через вероятность появления одного из состояний и
условную вероятность появления другого состояния равенствами (26) и
(27), преобразуем выражение для энтропии объединения к следующему
виду [3, 8]:
54
(35)
1.7. Взаимная энтропия
Первая сумма в правой части равенства (35) представляет собой эн-
тропию сообщений Х (поскольку
условную энтропию H(Y/X). Тогда окончательно имеем
H(X, Y) = H(Х) + H(Y/X). (36)
Аналогичное преобразование выражения (34) для энтропии объ-
единения с использованием формулы для условной вероятности дает результат
H(X, Y) = H(Y) + H(X/Y), (37)
который совместно с (36) более полно раскрывает смысл условной энтропии, рассмотренной в предыдущем разделе.
n
/1
py x
¦
jk
1
j
), а вторая сумма –
Основные свойства энтропии объединения
1.
2. Если сообщения X и Y статистически независимы, то энтропия
объединения равна сумме энтропий сообщений X и Y. Это утверждение
(правило сложения энтропий) следует из свойств условной энтропии.
В рассматриваемом случае
пия объединения, выражаемая (36) либо (37), равна
3. Если сообщения X и Y являются полностью статистически зависимыми, то, как следует из свойств условной энтропии,
энтропия объединения равна
,, / /HXY HYX HX HY X HY HXY
/,/HY X HY HX Y H X
,HXY HX HY
. (39)
,HXY HX HY
, (40)
(38)
и энтро-
/0HY X
и
т.е. при полной статистической зависимости энтропии сообщений X и Y
равны между собой.
1.7. Взаимная энтропия
Пусть ансамбли Х и Y относятся соответственно к передаваемому и
принимаемому сообщениям. Различия между Х и Y обуславливаются искажениями в процессе передачи сообщений под воздействием помех.
55
1. Количественная оценка информации
При отсутствии помех различий между ансамблями Х и Y не будет,
а энтропии передаваемого и принимаемого сообщений будут равны:
Н(Х) = Н(Y).
Воздействие помех оценивают условной энтропией Н
(X). Поэтому
Y
получаемое потребителем количество информации на один элемент сообщения равно [11, 13]
Е(Х, Y) = Н(Х) – Н(X/Y). (41)
Величину Е(Х, Y) называют взаимной энтропией.
Если ансамбли Х и Y независимы, то это означает, что помехи в ка-
нале привели к полному искажению сообщения, т.е. Н
(X) = Н(Х), а полу-
Y
чаемое потребителем количество информации на один элемент сообщения: Е(Х, Y) = 0.
Если Х и Y полностью зависимы, т.е. помехи в канале отсутствуют,
(X) = 0 и Е(Х, Y) = H(Y).
то Н
Y
или
Так как Н
(X) = Н(Х, Y) – H(Y), то Е(Х, Y) = Н(Х) + H(Y) – Н(Х, Y),
Y
m
¦¦
k
n
yxpYXE
11
j
jk
log,,
yxp
/
jk
.
xp
k
Поясним понятия условной и полной энтропии на следующем простом, но наглядном примере, используя графическую интерпретацию.
Пусть имеются два зависимых источника сообщений Х и Y, энтропии которых были определены по отдельности, и они соответственно равны
Н(Х) = 5 бит; Н(Y) = 10 бит.
При отсутствии взаимосвязи между источниками информации количество
информации можно отобразить кругами, как это показано на рис. 10.
Рис. 10. Графическая интерпретация понятия энтропии
независимых источников сообщений
Как это было указано в первом свойстве условной энтропии, она
будет равна безусловной энтропии Н(Y/X) = Н(Y) = 10 бит, а Н(X/Y) =
56
1.7. Взаимная энтропия
= H(X) = 5 бит. Каждый из источников будет нести новую информацию
независимо от того, что сообщил другой. Общее количество информации
и, следовательно, Н(X,Y) = H(X) + H(Y) = 5 +10 = 15 бит. Таким образом,
когда источники независимы, условные энтропии принимают максимальные значения.
По мере увеличения взаимосвязи источников Н(Y/X) и Н(X/Y) будут
уменьшаться (рис. 11).
Рис. 11. Графическая интерпретация понятия энтропии
зависимых источников сообщений
При полной зависимости двух источников один из них не вносит
никакой информации относительного другого, так как при появлении,
например, некоторого сообщения x
щения у
, т.е. р(xi, уj) = 1 при i = j и нулю при i z j. Поэтому Н(X/Y) = 0 и,
j
неизбежно вызывает появление сооб-
i
следовательно, Н(X, Y) = Н(Y/X).
Рис. 12. Графическая интерпретация понятия энтропии
при полной зависимости источников сообщений
При этом Н(Y/Х) = Н(Y) – Н(Х) = 10 – 5 = 5 бит. Поэтому условная
энтропия Н(Y/Х) будет изменяться от 10 до 5 бит при максимально возможном изменении Н(Х/Y) от 5 до 0 бит.
Пример 17. Имеется два зависимых источника информации X и Y,
каждый из которых генерирует по три
различных сообщения. Зависимость источников выражается в том, что появление сообщений от одного
из них влияет на вероятность появления сообщения на другом. Условные
вероятности появления представлены в следующем виде:
57
1. Количественная оценка информации
Y
X
x1
0,4
0,1 0 x2 0 0,2
0,1
x3 0 0
0,2
y
1
y
2
y
3
Вычислить энтропии Н(Х), H(Y), условные энтропии Н(Y/Х), Н(Х/Y),
а также полную энтропию H(X, Y) и взаимную энтропию Е(Х, Y).
Решение. Для определения энтропий Н(Х) и H(Y) по формуле
Шеннона необходимы безусловные вероятности появления сообщений.
Чтобы вычислить безусловные вероятности р(x
) и р(yj) системы, необ-
i
ходимо сложить вероятности по строкам и столбцам исходной таблицы
соответственно:
) = 0,4 + 0,1 + 0 = 0,5;
р(x
1
р(x
) = 0 + 0,2 + 0,1 = 0,3;
2
р(x
) = 0 + 0 + 0,2 = 0,2;
3
) = 0,4 + 0 + 0 = 0,4;
р(y
1
р(y
) = 0,1 + 0,2 + 0 = 0,3;
2
р(y
) = 0 + 0,1 + 0,2 = 0,3.
3
Теперь можно определить энтропии источников информации Х и Y:
3
¦
i
1
3
¦
j
1
ii
jj
битxpxpXH
битypypYH
Для определения условной энтропии источника информации Y при
условии, что сообщения источника Х известны, воспользуемся формулой (33).
Здесь нам понадобятся условные вероятности p(y
пользуя соотношение
), которые вычислим, ис-
j/xi
, откуда
xypxpyxp /,
ijiji
yxp
xyp,/
ij
ji
xp
i
Последовательно найдем условные вероятности возможных значений Y при условии, что составляющая Х приняла значение x
,
yxp
/
xyp
11
xp
1
4,0
11
/
xyp
13
;
8,0
5,0
,
xp
yxp
1
/
31
xyp
12
0
.
0
5,0
,
xp
:
1
yxp
1,0
21
1
;
2,0
5,0
.485,12,0log2,03,0log3,05,0log5,0log
.57,13,0log3,03,0log3,04,0log4,0log
.
58
1.7. Взаимная энтропия
0
3,0
0
,
/
2
23
23
yp
yxp
yxp
Далее для х2:
yxp
xyp
/
21
Для х3:
/
xyp
31
Окончательно условная энтропия может быть определена из фор-
мулы
XYH
,
xp
2
,
yxp
xp
3
0
12
;
0
3,0
xyp
/
23
0
13
;
0
2,0
/
xyp
33
xyp
/
yxp
,
32
xp
2
/
xyp
32
,
yxp
33
xp
3
22
Аналогичные расчеты произведем для определения условной энтропии источника информации Х при условии, что сообщения источника
Y известны:
yxp,/
ji
Для у1:
,
/
yxp
11
Для у2:
/
yxp
21
yp
1
,
yp
2
yxp
yxp
4,0
11
;
1
4,0
/
yxp
13
1,0
21
33,0
3,0
/
yxp
12
,
yxp
13
yp
1
;
/
22
2,0log2,08,0log8,05,0[/
yp
,
xp
1,0
33,0
5,0
,
yxp
23
xp
3
2,0
.
1
2,0
222
yxp
ji
.
j
,
yxp
12
yp
1
0
.
0
4,0
yxp
22
,
yp
yxp
2
2,0
22
;
67,0
3,0
.
0
;
0
2,0
.635,0}1log12,033,0log33,067,0log67,03,0
yxp
22
2
бит
0
;
0
4,0
2,0
3,0
;
67,0
.
Для у3:
yxp
31
/
,
yxp
31
yp
3
,
0
;
/
0
3,0
yxp
32
yxp
yp
3
1,0
32
;
33,0
3,0
59
1. Количественная оценка информации
,
/
yxp
33
YХH
yxp
yp
3
22
2,0
33
.
67,0
3,0
222
.55,0]67,0log67,033,0log33,03,0
|
бит
Общую энтропию зависимых источников информации Х и Y опре-
делим по формуле (34):
313
¦¦
ij
1
ji
,log,,
2
yxpyxpYХH
ji
.2012464,0332,0464,0332,0529,0
Кроме того, можно убедиться, что справедливо свойство, записан-
ное формулой (38):
Н(Х, Y) = H(X) +H(Y/X) = 1,485 + 0,635 = 2,12 бит.
Н(Х, Y) = H(Y) +H(X/Y) = 1,57 + 0,55 = 2,12 бит.
Взаимную энтропию вычислим по формуле (41):
Е(Х, Y) = Н(Х) – Н(X/Y) = 1,485 – 0,55 = 0,935 бит.
Контрольные вопросы
1. Дайте определение информации. В чем заключается сложность
определения информации?
2. Каково соотношение информации и сообщения? Приведите при-
меры.
3. Для чего предназначены знаки и сигналы при организации пере-
дачи информации?
4. Назовите основные свойства информации.
5. Что такое информационный процесс? Какие виды информацион-
ных процессов вам известны?
6. Каким образом возникает, хранится, обрабатывается и передается
информация?
7. Поясните функции и назначение блоков структурной схемы под-
системы передачи информации.
8. Что такое количество информации? Какой принцип положен в
основу измерения количества информации?
бит
67,0log67,033,0log33,03,01log14,0[/
2,0log2,01,0log1,02,0log2,01,0log1,04,0log4,0
22222
60
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]