Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Элементы теории информации в защите информации. Учебное пособие для академического бакалавриата
.pdf
4.6. Задачи и упражнения
4.17. Даны ансамбли А=В={0,1,2} и распределение
на множестве пар АВ:
А \ В 0 1 2
0 0,15 0,10 0,16
1 0,11 0,12 0,06
2 0,14 0,11 0,05
Верно ли, что H(А/В)>H(В/А)?
4.18. Имеются ансамбли А={0,1,2} и В={0,1,2,3}.
Найдите H(А/1), H(А/3), H(B/0), H(B/2), H(А), H(B),
H(А/B), H(B/А) и H(АB), если:
а) Распределение на множестве пар АВ задано табли-
цей:
А \ В 0 1 2 3
0 0,15 0,10 0,06 0,10
1 0,11 0,04 0,08 0,06
2 0,09 0,10 0,04 0,07
б) Распределение на множестве пар АВ задано табли-
цей:
А \ В 0 1 2 3
0 0,08 0,07 0,06 0,10
1 0,12 0,06 0,09 0,05
2 0,08 0,12 0,05 0,12
в) Распределение на множестве пар АВ задано табли-
цей:
А \ В 0 1 2 3
0 0,12 0,07 0,06 0,10
1 0,11 0,04 0,09 0,05
2 0,08 0,12 0,03 0,13
— 71 —
Глава 4. Количество информации и энтропия
0,3 0,35
0,2 0,15
0,15 0,4
0,25 0,2
0,1 0,45
0,3 0,15
4.19. Найдите для стационарного источника независимых биграмм над множеством А={0,1} с распределением вероятностей:
0,25 0,5
1)
0,2 0, 05
а) 2-мерную энтропию H(А
на букву H
(А) последовательности длины 2 и условную
2
; 2)
:
2
) источника, энтропию
энтропию H(А/А);
б) 4-мерную энтропию H(А
на букву H
(А) слова длины 4.
4
4.20. Найдите 3-мерную энтропию H(А
энтропию на букву H
пию H(А/А
2
) двоичного источника, заданного стационар-
(А) для 3-грамм и условную энтро-
3
4
) источника и энтропию
3
) источника,
ной цепью Маркова связности 2 с матрицами Р начального
распределения вероятностей биграмм и P переходных вероятностей:
0,25 0,75
1) Р=
2) Р=
3) Р=
4) Р=
0,3 0,4
0,2 0,1
0,18 0,37
0,23 0,22
, P=
, P=
, P=
, P=
0,35 0, 65
0,4 0,6
0,55 0,45
0,4 0,6
0,3 0,7
0,8 0,2
0,45 0,55
0,2 0,8
0,3 0,7
0,4 0,6
0,5 0,5
0,27 0,73
0,39 0,61
0,44 0,56
0,52 0,48
;
;
;
.
— 72 —
ГЛАВА 5.
N
Равномерное кодирование
источника сообщений
Равномерным называется кодирование, при котором
каждая буква источника кодируется одинаковым количеством битов. Такой способ кодирования не представляет
практического интереса, но весьма полезен с теоретической точки зрения.
При равномерном кодировании последовательность
,…} символов алфавита X, генерируемая источником
{x
1,x2
сообщений, разбивается на блоки одинаковой длины N
и каждый блок кодируется независимо от других символами некоторого алфавита А.
5.1. Равномерное кодирование
дискретного постоянного источника
кодовыми словами двоичного алфавита А={0,1}.
множество С⊆А
слов длины n в алфавите А). Элементы кода С называют
кодовыми словами. Мощностью кода С называют количество С кодовых слов в коде С.
R =
Рассмотрим кодирование стационарного источника
Равномерным кодом длины n называется любое под-
Скоростью равномерного кода называется величина
n
(любое подмножество множества всех
log C
— 73 —
, (5.1)
Глава 5. Равномерное кодирование источника сообщений
измеряемая в единицах «бит / букву источника», где для
действительного числа а через а обозначено наименьшее
целое число, не меньшее числа а.
Важным частным случаем равномерного кода явля-
ется случай С=А
n
={0,1}n. В этом случае R=n/N бит / букву
источника.
Кодирование состоит в замене каждого блока из N
символов источника на n битов, записываемых в запоминающее устройство или передаваемых по каналу связи.
Значит, скорость кода — это удельные затраты битов
на передачу одной буквы источника, то есть чем скорость
кода меньше, тем экономичнее способ кодирования.
Таким образом, кодер реализует отображение
N
j:X
→С, декодер реализует отображение y:С→XN. Если
оба отображения реализуют взаимно однозначные соответствия, то на выходе декодера получается точная копия
переданного сообщения.
Взаимно однозначные соответствия возможны только в случае, если
X
N
≤ С, (5.2)
или, что равносильно, если
R ≥ logX ≥ H(X).
Отсюда если буквы источника не равновероятны, что
выполнено при H(X)<logX, то скорость кода превышает энтропию источника.
5.2. Вероятность ошибки
равномерного кодирования
Нельзя исключить ситуацию, когда условие (5.2)
не выполнено. Тогда мощность кода недостаточна для
того, чтобы сопоставить каждому блоку сообщения
свое уникальное слово. Значит, для некоторых блоков
— 74 —
5.2. Вероятность ошибки равномерного кодирования
сообщения не найдется кодового слова, по которому декодер однозначно восстановит переданный блок. В таких
случаях процессы кодирования и декодирования описываются следующим образом.
Определим во множестве блоков X
N
подмножество
Т такое, что Т=С, и каждому блоку из Т сопоставим
уникальное кодовое слово из С. Множество Т называ-
ется множеством однозначно кодируемых последовательностей (блоков). Остальным блокам (обозначим это
множество Т
из С, например, всем блокам из Т
с
) сопоставим произвольные кодовые слова
с
сопоставим одно и то
же кодовое слово.
Декодер при получении слова w∈С выдает однознач-
но соответствующий ему блок из множества Т. Отсюда
следует, что если источник порождает блок x из множества Т
с
, то выход декодера не совпадает с входным блоком
кодера. Это событие называется ошибкой кодирования.
Если задать вероятностную меру Р на множестве входных
блоков кодера, то событие, называемое ошибкой кодирования, является случайным, и вероятность ошибки кодирования, обозначаемая Р
Р
е
Величина Р
является характеристикой кода С и на-
е
, равна
е
= Р{x∈Тс} = Р{x∉Т}.
зывается вероятностью ошибки кодирования.
Пример 5.1. Рассмотрим равномерное кодирование
биграмм, порождаемых источником в алфавите X={a,b,c}
при распределении вероятностей букв соответственно
{1/2,1/3,1/6}. В таблице 6.1 приведена кодовая таблица
для кода С={0,1}
3
и указаны вероятности всех биграмм
в алфавите X.
Скорость данного кода равна 3/2 бита на букву источника. В соответствии с таблицей множество Т однозначно
кодируемых биграмм имеет вид:
Т = {aa, ab, ac, ba, bb, bc, ca, cb}.
— 75 —
Глава 5. Равномерное кодирование источника сообщений
Соответственно, Тс={cc} и вероятность ошибки коди-
рования Р
=Р{x∈Тс}=1/36.
е
При генерации источником биграммы cc декодер вы-
даст получателю другую биграмму, а именно, cb.
Таблица 6.1.
Пример равномерного кодирования
биграмм в алфавите X
Биграмма
в алфавите X
aa
ab
ac
ba
bb
bc
ca
cb
cc
Вероятность
биграммы
1/4 000
1/6 001
1/12 010
1/6 011
1/9 100
1/18 101
1/12 110
1/18 111
1/36 111
Кодовое слово
Заметим, что вероятность Ре ошибки кодирования
не зависит от кодового слова, присваиваемого биграмме
cc.
Выбор другого множества Т однозначно кодируемых
биграмм возможен, однако при этом вероятность ошибки
кодирования не уменьшится, в рассмотренном примере
увеличится. Множество Т однозначно кодируемых блоков
источника целесообразно выбирать так, чтобы, по возможности, минимизировать скорость кода и вероятность
ошибки кодирования.
— 76 —
5.3. Скорость создания информации
5.3. Скорость создания информации
В соответствии с (5.1) задача построения равномер-
ного кода со скоростью кодирования R для блоков длины
N равносильна задаче выбора С=2
руемых сообщений. Отсюда видно, что при уменьшении
скорости кода вероятность ошибки увеличивается. В связи с этим важно оценить, с какой скоростью возможно
кодирование при пренебрежимо малой ошибке.
Для заданной модели стационарного источника число H называется скоростью создания информации, если
для любого R>H существует равномерный код со скоростью R, обеспечивающий сколь угодно малую вероятность
ошибки кодирования, и вместе с тем, при любой скорости
кода R<H вероятность ошибки кодирования ограничена
снизу некоторой положительной величиной e.
Итак, константа H есть скорость создания информации, если доказаны два утверждения. Первое (оно называется прямой теоремой кодирования): при R>H достижима
сколь угодно малая вероятность ошибки кодирования.
Второе (оно называется обратной теоремой кодирования):
при R<H вероятность ошибки кодирования не может
быть произвольно малой.
В данном определении скорости создания информации источником неявно использовано ограничение
на способы кодирования, а именно, блоки фиксированной
длины, генерируемые источником, кодируются словами
фиксированной длины. Такой тип кодирования обозначается аббревиатурой FF (fixed-to-fixed). Другие существующие типы кодирования обозначаются аббревиатурами
VF, FV, VV (V означает variable). В связи с этим строгое
доказательство для величины скорости H создания информации источником требует учета всех четырех типов
кодирования.
NR
однозначно коди-
— 77 —
Глава 5. Равномерное кодирование источника сообщений
В данном пособии рассмотрены прямые и обратные
теоремы кодирования для типов кодирования FF и FV.
5.4. Прямая теорема равномерного
кодирования
Случай ДПИ наиболее прост для доказательства прямой и обратной теорем кодирования и является весьма
наглядным с точки зрения знакомства с результатами.
Положим, что алфавит X источника конечный и вероятности всех букв положительные. Важно, что в этих
условиях собственная информация источника имеет конечное математическое ожидание (энтропию) и конечную
дисперсию.
Покажем, что при скорости кода, превышающей энтропию на любую небольшую положительную величину,
путем увеличения длины кодируемых блоков можно построить равномерный код с произвольной малой вероятностью ошибки кодирования.
Теорема 5.1. Для ДПИ с энтропией H и любых чисел
e,d>0 существует натуральное число n
любого n>n
имеется способ равномерного кодирования
0
блоков длины n со скоростью R≤H+d и с вероятностью
ошибки кодирования Р
≤e.
е
Доказательство. Последовательность рассуждений
такова: укажем правило кодирования и подберем параметры кода так, чтобы скорость кода удовлетворяла указанным ограничениям; затем покажем, что вероятность
ошибки кодирования можно ограничить сколь угодно
малой величиной.
Правило кодирования определяется построением
множества Т однозначно кодируемых блоков длины
источника, где Т⊆X
n
. Множество Т описывается фор-
мулой:
такое, что для
0
— 78 —
5.4. Прямая теорема равномерного кодирования
Ix H
( )
∑
( )
log
n
1
n
Ix H
Ix H
Т = {x:
1
n
где I(x)=–logp(x) — собственная информация блока x∈X
d
— положительная константа, ее значение определяет-
0
( )
−
≤d0}, (5.3)
n
ся ниже. Таким образом, множество Т состоит из блоков,
средняя собственная информация которых близка к энтропии при достаточно малой положительной константе d
.
0
Из (5.3) и определения собственной информации следует, что вероятности блоков x из Т удовлетворяют неравенствам:
–n(H+d0)
2
≤ p(x) ≤ 2
–n(H–d0)
. (5.4)
Левая и правая части оценивают соответственно вероятности блоков x∈Т. Для оценки Т укажем цепь выполненных соотношений:
1 ≥ Р(Т) =
xT
∈
px
≥ Т
minxTpx
∈
≥ Т2
–n(H+d0)
.
Отсюда
n(H+d0)
Т ≤ 2
,
следовательно, скорость кода
T
R =
< H+d0+
. (5.5)
,
Если источник порождает блок, не входящий во множество Т, то имеет место ошибка кодирования. Вероятность ошибки удовлетворяет соотношениям:
P
= Р{x∉Т} = P(
е
1
n
( )
−
>d0).
В силу независимости букв источника при x=(x
x
) выполнено p(x1,…,xn)=p(x1)×…×p(xn), значит, I(x)=
n
=I(x
)+…+I(xn) и отсюда получаем:
1
P
= P(
е
1
∑
n
1
≤≤
in
— 79 —
( )
i
−
>d0).
,…,
1
Глава 5. Равномерное кодирование источника сообщений
Ix H
Так как M[I(x)]=H, то, применяя к выражению
в правой части неравенство Чебышева, имеем:
DIx
P
≤
е
n
. (5.6)
2
0
В условиях данной модели ДИОС величина D[I(x)]
ограничена. Значит, для любого числа d
длину n кодируемого блока так, чтобы вероятность P
можно подобрать
0
е
была меньше любого наперед заданного числа e.
DIx
Положим d
=d/2, n′=
0
вольных e, d>0. Тогда из (5.6) следует, что P
, n″=2/d при произ-
2
0
≤e при лю-
е
бом натуральном числе n≥n′. Из (5.5) следует, что R<H+d
при любом натуральном числе n≥n″. Следовательно, при
любом n≥max{n′,n″} для скорости кода и для вероятности
ошибки выполнены указанные ограничения.
Замечание. Использованное в доказательстве тео-
ремы множество Т, заданное равенством (5.5), зависит
от константы d
Т
(d), заданное равенством
n
Тn(d) = {x:
. При натуральном n и d>0 множество
0
1
n
( )
−
≤d}, (5.7)
назовем множеством d-типичных последовательностей
(блоков длины n) источника.
вать с малой ошибкой при скорости меньшей, чем энтропия источника. Несмотря на «пессимистический»харак-
тер подобное утверждение является, с одной стороны,
важным вкладом в математическую теорию информации
5.5. Обратная теорема
равномерного кодирования
Итак, докажем, что источник невозможно закодиро-
— 80 —
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]