Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Элементы теории информации в защите информации. Учебное пособие для академического бакалавриата
.pdf
10.12. Задачи и упражнения
0,6 2 0,38
3 0,34 0,4
0,38 2 0,2 4
ab bc
ac ca
cb b
−−
−−
−
−
+−
Утверждение 3 данной теоремы показывает, что
оценка утверждения 2 экспоненциально точная.
10.12. Задачи и упражнения
10.1. Буквы 0 и 1 источника кодируются словами 000
и 111 соответственно и передаются по ДСК с вероятностью искажения p. Вывести формулу для вероятности P
ошибки декодирования и найти P
а) p=0,2; б) p=0,1; в) p=0,04.
10.2. Средняя взаимная информация I(X;Y) между
ансамблями X и Y равна a:
а) a=3 при X=8, Y=16;
б) a=2,3 при X=5, Y=7;
в) a=4,1 при X=15, Yv=17.
Какое из трех утверждений заведомо ошибочное?
10.3. Вероятностная модель ДПК описана матрицей
переходных вероятностей. Найти a, b, c.
при:
е
е
а)
a cb
2 0,2 2 0,64
ac b
2 0,22 0,24 2 0,02
б)
ab
0,2 2 0,53 0,25
−
10.4. Докажите для ДСК, что средняя взаимная информация между ансамблями X и Y равна 0, если вероятность искажения символа p=0,5.
10.5. Буквы двоичного источника с вероятностями
и p1 передаются по двоичному симметричному каналу
p
0
(ДСК) с вероятностью искажения p.
Найти взаимную информацию всех пар сообщений
(x,y) и среднюю взаимную информацию между ансамблями X и Y:
— 181 —
;
.
Глава 10. Кодирование в дискретных каналах с шумом
0,1 0,3 0,2 0, 4
0,17 0,23 0,38 0,22
0,25 0,4 0,25 0,1
0,12 0,3 0,36 0,22
0,19 0,35 0,24 0,22
0,14 0,41 0,15 0, 3
а) (p0, p1) = (0,5; 0,5); p = 0,2;
б) (p
, p1) = (0,3; 0,7); p = 0,15;
0
в) (p
, p1) = (0,7; 0,3); p = 0,45;
0
г) (p
, p1) = (0,7; 0,3); p = 0,2;
0
д) (p
, p1) = (0,65; 0,35); p = 0,03;
0
е) (p
, p1) = (0,44; 0,56); p = 0,1.
0
10.6. Даны вероятности P(X) букв источника
X={0,1,2} и матрица P(Y/X) переходных вероятностей
ДПК:
а) P(X)=(0,65; 0,2; 0,15); (x,y)∈{(0,0); (0,3); (1,2);
(2,1)};
б) P(X)=(0,38; 0,27; 0,35); (x,y)∈{(0,2); (0,3); (1,1);
(1,3); (2,2)}.
Найти при P(Y/X)=P
(Y/X) и при P(Y/X)=P2(Y/X):
1
• матрицу переходных вероятностей P(X/Y);
• взаимную информацию пар сообщений (x,y);
• среднюю взаимную информацию между ансамбля-
ми X и Y:
P
(Y/X)=
1
;
(Y/X)=
P
2
10.7. Дайте определение множества пар (x,y) типич-
ных последовательностей с параметром e.
Оцените вероятность множества Т
вательности x и y выбраны независимо:
а) (n; d)=(100; 0,01);
б) (n; d)=(1000; 0,01);
в) (n; d)=(1000; 0,001).
10.8. Дайте определение вероятностей ошибочного де-
кодирования канала и правильного декодирования канала.
— 182 —
.
(e), когда последо-
n
10.12. Задачи и упражнения
0,8 0,15 0,05
0,15 0,7 0,15
0,12 0,13 0,75
0,1 0,3 0,2 0, 4
0,17 0,23 0,38 0,22
0,25 0,4 0,25 0,1
0,12 0,3 0,36 0,22
0,19 0,35 0,24 0,22
0,14 0,41 0,15 0, 3
Вычислите эти вероятности для канала по его матри-
це P переходных вероятностей при входном распределении P(U) и с помощью неравенства Фано оцените условную энтропию ансамблей H(U/V):
0,6 0,1 0, 3
а) P(U)={0,4; 0,3; 0,3}; P=
0,2 0,7 0,1
;
0,16 0 0,84
б) P(U)={0,15; 0,35; 0,5}; P=
.
10.9. Дайте определение информационной емкости
канала.
Найдите информационную емкость двоичного сим-
метричного канала:
а) p = 0,2; б) p = 0,35; в) p = 0,25.
10.10. Найдите информационную емкость двоичного
симметричного канала со стиранием:
а) p = 0,2; e=0,15;
б) p = 0,35; e=0,2;
в) p = 0,25; e=0,05.
10.11. Оцените снизу информационную емкость
ДПК с матрицей P переходных вероятностей канала при
двух распределениях вероятностей элементов источника
X={0,1,2}:
а) P
(X)=(0,35; 0,34; 0,31); P2(X)=(0,3; 0,34; 0,36);
1
P=
б) P
(X)=(0,48; 0,27; 0,25); P2(X)=(0,4; 0,28; 0,32);
1
;
P=
— 183 —
.
ПРИЛОЖЕНИЯ
П.0. Основные обозначения
Х*
Мx математическое ожидание случайной величи-
Dx дисперсия случайной величины x;
ДИОС дискретный источник открытых сообщений;
ДПИ дискретный постоянный источник;
р.в. распределение вероятностей;
с.в. случайная величина;
⇔
множество всех последовательностей в алфавите Х;
ны x;
тогда и только тогда, когда …
П.1. Выпуклые функции
нескольких переменных
Понятие выпуклости применяется к действительным функциям нескольких действительных переменных. Функция n переменных определена на пространстве
n-мерных векторов, n>1. В теории функций, а также в теории информации, различают функции выпуклые вверх
(∩-выпуклые) и выпуклые вниз ((∪-выпуклые).
Опираясь на геометрические представления, назовем
область значений векторного аргумента (область определения функции) выпуклой, если прямая, проходящая
через две любые точки области, целиком содержится
— 184 —
П.1. Выпуклые функции нескольких переменных
1
m
i
i
i
x
=
∑
()
i
в области. Для двумерных случаев выпуклой областью
являются треугольник, параллелепипед, трапеция, круг.
Не выпуклой является 5-конечная звезда и при n>1 любое
несвязное множество.
Функция f(x) векторного аргумента x, определенная
на выпуклой области R, называется выпуклой вверх, если
для любых x, x'∈R и любого a∈[0,1]
f(ax+(1-a)x') ≥ af(x) + (1-a)f(x'). (П.1.1)
Выпуклость области R обеспечивает принадлежность
области определения всех значений аргумента функции
в левой части неравенства (4.2), тем самым обеспечивая
корректность левой части. Для определения выпуклости
вниз функции f(x) следует в неравенстве (П.1.1) заменить
знак ≥ на противоположный.
Теорема П.1.1. Пусть функция f(x) векторного аргу-
мента x определена на выпуклой области R и является выпуклой вверх, и для неотрицательных констант a
выполнено a
f(
+…+am=1. Тогда для любых x1,…,xm∈R
1
m
) ≥
∑
i
=
1
fx
. (П.1.2)
i
,…,am
1
В частности, для случайных величин, определяемых
∩-выпуклыми функциями, отсюда следует: f(M(x)) ≥
≥M(f(x)).
Для выпуклых функций выполнены свойства:
1) линейная комбинация выпуклых функций являет-
ся выпуклой функцией;
2) энтропия H(P) ДИОС X с распределением вероятностей P является выпуклой вверх функцией векторного
аргумента P (распределения вероятностей).
Свойство 2 позволяет оценивать энтропию ансамблей
сообщений с помощью неравенства (П.1.2).
— 185 —
Приложения
( )
∑
( )
∑
A
П.2. Определяющие понятия
и формулы теории вероятностей
Обозначим X дискретное множество, то есть множе-
ство содержащее конечное или счетное множество элементов x∈X, называемых элементарными событиями.
Любое подмножество А множества X назовем событием.
Событие А может быть получено из элементарных или
иных событий с помощью теоретико-множественных операций объединения, пересечения и разности, имеющих
стандартные обозначения ∪, ∩ и
жество всех событий, определяемых множеством X и обо-
X
значаемых 2
, является булевой алгеброй. Символом А
обозначается мощность конечного множества А, под которым понимается количество элементов в нем.
В контексте теории информации подмножество А на-
зывается сообщением, а элемент x — элементарным сообщением.
Множество неотрицательных чисел {p(x)}, x∈X, задает вероятностное распределение на множестве X={x},
px
если
xX
∈
=1.
Число p(x) определено как вероятность элементарного события x, а вероятность события А равна:
p(А) =
xA
∈
Совокупность троек {(X,2
ностным пространством. Множество пар X
назовем вероятностным ансамблем (сообщений).
Для вероятностей событий А, B из булевой алгебры 2
верны равенства:
p(∅) = 0,
p(X) = 1,
) = 1 – p(А),
p(
p(А∪B) = p(А) + p(B) – p(А∩B).
соответственно. Мно-
px
.
X
,p(x))} называют вероят-
p
= {(x,p(x))}
X
— 186 —
П.2. Определяющие понятия и формулы теории вероятностей
1
( )
1
i
iM
PA
≤≤
∑
,,
,.
00
( ) ( )
ii
∑
События А, B называются несовместными, если
А∩B=∅. Для вероятности объединения любого количе-
ства событий верна оценка:
p(
Равенство здесь достигается ⇔ события A
iM
≤≤
A
i
) ≤
.
,…,AM по-
1
парно несовместные.
Для любых событий А, B из булевой алгебры 2
X
условной вероятностью события А при условии события B,
обозначаемой p(А/B), называется величина
pA B
p(А/B) =
pB
pB
pB
0
Отсюда получаем для двух событий (символ ∩ как
правило опускается)
p(АB) = p(А)p(B/А) = p(B)p(А/B),
и для M событий
p(A
) = p(А1)p(А2/А1)p(А3/А1А2)…p(АM/А1…А
1…AM
M–1
).
События А, B называются независимыми, если
p(АB) = p(А)p(B).
События A
,…,AM называются независимыми в сово-
1
купности, если
p(A
) = p(А1)p(А2)…p(АM).
1…AM
Если события А, B независимые, то p(А/B)=p(А),
p(B/А)=p(B).
Пусть события H
и p(
1iiM
≤≤
H
)=1, тогда выполнена так называемая формула
,…,HM попарно несовместные
1
полной вероятности:
p(А) =
PH PA H
1
iM
≤≤
/
.
— 187 —
Приложения
( ) ( )
jj
ii
( )
up u∈=
∑
=
Формула апостериорной вероятности (Байеса) имеет
вид:
/
p(H
/А) =
j
PA H PH
PH PA H
∑
( ) ( )
1
iM
≤≤
.
/
Элементом декартова произведения множеств
X
×…×XM является последовательность (x1,…,xM), где
1
x
, i=1,…,M. В случае X1=…=XM=X последователь-
i∈Xi
ность (x
,…,xM) есть элемент декартовой степени XM мно-
1
жества X.
Произведение вероятностных ансамблей (сообще-
ний) {(x,p
(x))} и {(y,py(y))}, состоящее из пар сообщений
x
(x,y) определено, если задано распределение вероятностей
p
(x,y) на этих парах сообщений. Обобщая естественным
x,y
образом, можно рассматривать произведение нескольких
вероятностных ансамблей.
Отображение x(x) множества 2
X
случайных событий
во множество действительных чисел называется случайной величиной (с.в.).
Пусть с.в. x принимает значения в дискретном множестве U. Обозначим p(x=u) вероятность того, что с.в.
x принимает значение u∈U. Эта вероятность вычисляется
по формуле:
p(x=u) =
xX xu
:
px
.
Математическим ожиданием с.в. x называется число, обозначаемое:
Мx =
uU
x
.
Дисперсией с.в. x (она характеризует разброс значений с.в. x) называется число, обозначаемое Dx:
Dx = М(x – Мx)
2
= Мx2 – (Мx)2.
Свойства математического ожидания и дисперсии
с.в. x, h, где с — константа:
— 188 —
П.3. Неравенства Чебышева, закон больших чисел
( )
xX
∑
1. Мс = с.
2. М(сx) = сМx.
3. Мx ≤ Мx.
4. М(x + h) = Мx + Мh.
5. Если с.в. x и h независимые, то М(xh) = МxМh.
6. Dx ≥ 0.
7. Dс = 0.
8. Dсx = с
2
Dx.
9. Если с.в. x и h независимые, то D(x + h) = Dx + Dh,
в частности, D(x + с) = Dx.
П.3. Неравенства Чебышева,
закон больших чисел
Доказательство теорем кодирования опирается
на оценки вероятностей уклонения случайных величин
от их средних значений. В связи с этим приведем некоторые необходимые сведения из теории вероятностей.
Во многих случаях подсчет точного значения вероятности того или иного события является весьма сложной задачей, в том числе и по причине отсутствия точной вероятностной модели. Поэтому в таких случаях
используют верхние или нижние оценки вероятностей.
Важными для теории и практических приложений
являются верхние оценки вероятности того, что определенная случайная величина не превышает заданного
значения.
Пусть X={(x,p(x))} — дискретная неотрицательная
случайная величина, m
ние случайной величины x:
Требуется оценить вероятность события Р(x≥a) для
некоторого числа a>0.
=М[x] — математическое ожида-
x
m
x
=
∈
xp x
.
— 189 —
Приложения
( )
xa
∑
( )
xa
x
px
a
≥
∑
1
a
a
a
2
x
2
x
ε
Выполнена цепь соотношений для указанной вероят-
ности:
m
Р(x≥a) =
≥
px
≤
≤
∑
xX
∈
xp x
( )
=
x
.
Для обоснования корректности двух неравенств
этой цепи заметим, что x/a≥1 и что расширение области
суммирования неотрицательных величин не уменьшает
значение суммы. Полученный результат, называемый
неравенством Чебышева для положительных случайных
величин, имеет вид:
m
Р(x≥a) ≤
x
. (П.3.1)
Отсюда видно, что полученная оценка нетривиальна,
если a>m
. Достоинство этой оценки состоит в том, что
x
для ее получения требуется знать только математическое
ожидание случайной величины x.
Пусть теперь X={(x,p(x))} — необязательно неотрица-
тельная дискретная случайная величина. Требуется для
произвольного числа e>0 оценить вероятность отклонения случайной величины от математического ожидания
на величину, не меньшую e, то есть оценить вероятность
Р(x–m
≥e).
x
Обозначим: y=x–m
; σ
=D[y] — дисперсия случай-
x
ной величины x:
σ
= М[(x–mx)2] = М[x2] – (М[x]) 2.
Используя (П.3.1), получаем для неотрицательной
случайной величины y:
Р(y≥e) = Р(y
2≥e2
) ≤
My
2
ε
2
=
M xm
( )
2
=
2
σ
x
.
2
ε
−
x
2
ε
Полученный результат, называемый неравенством
Чебышева, имеет вид:
Р(x–m
≥e) ≤
x
2
σ
x
. (П.3.2)
2
— 190 —
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]