Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Элементы теории информации в защите информации. Учебное пособие для академического бакалавриата
.pdf
10.2. Постановка задачи помехоустойчивого кодирования
Таблица 10.2
Корректирующий код примера 10.2
сообще-
ние
00 00000 {00000, 00001, 00010, 00100,
01 10110 {10110, 10111, 10100, 10010,11110,
10 01011 {01011, 01010, 01001, 01111,
11 11101 {11101, 11100, 11111, 11001,
кодовое
слово
решающая область
01000, 10000, 11000, 10001}
00110, 01110, 00111}
00011, 11011, 10011, 11010}
10101, 01101, 00101, 01100}
Непосредственная проверка показывает. что данный
код также устраняет единичную ошибку, его скорость несколько больше, так как на передачу двух битов затрачивается 5 битов кода, то есть R=2,5 (бит/символ канала).
Данный код устраняет также некоторые (но не все)
двукратные ошибки, например, 11000 и 10001. При числе ошибок более 2 сообщение декодируется неверно.
Итак, важными характеристиками кода, защищающего информацию от ошибок, являются его скорость
и помехоустойчивость. Последняя характеристика может
быть представлена вероятностью ошибочного декодирования при случайной последовательности передаваемых
сообщений.
Дадим формальную постановку задачи помехоустойчивого кодирования с помощью схемы на рисунке 10.1.
Кодер Канал Декодер
Рисунок 10.1. Схема системы связи
— 161 —
Глава 10. Кодирование в дискретных каналах с шумом
logM
n
Множество сообщений обозначим U = {1,…,M}. Кодом
канала над алфавитом X называют подмножество С множества X
n
. Элементы множества С называются кодовыми
словами. Длину n последовательностей из С называют
длиной кода. Количество последовательностей в С, равное С=M, называется мощностью кода. Величина
R =
называется скоростью кода, измеряется в битах на символ канала.
В частном случае при M=2
k
каждому кодовому слову
взаимно-однозначно соответствует k информационных
бит. Если для их передачи используется n-битовое кодовое
слово, то скорость кода равна k/n бит на символ канала.
Обратимся к схеме на рисунке 10.1. На каждом такте
работы системы связи кодер, получая от источника некоторое сообщение u, преобразует его в кодовое слово x
и передает это слово в канал. На выходе канала появляется последовательность y, по которой декодер вычисляет
оценку u' переданного сообщения. Событие u≠u' называется ошибкой декодирования, а его вероятность при случайном сообщении u называется вероятностью ошибки
декодирования.
Задача эффективного кодирования канала — построение кода с наименьшей возможной скоростью и с наименьшей вероятностью ошибки декодирования.
Эти два условия противоречат друг другу. Приведенные примеры кодов показывают, что при увеличении
числа кодовых слов уменьшаются размеры решающих
областей и расстояния (по Хэммингу) между кодовыми
словами, увеличивается вероятность ошибки декодирования. Однако далее мы увидим, что для любого канала существует метод кодирования с определенной скоростью,
при котором вероятность ошибки декодирования может
быть сколь угодно малой.
— 162 —
10.3. Модели каналов
+
+
+
+
Число P называется пропускной способностью кана-
ла, если при любой скорости кода R<P существуют коды
со сколь угодно малой вероятностью ошибки и, напротив,
при R>P найдется константа e>0 такая, что вероятность
ошибки любого кода не меньше e, то есть вероятность
ошибки не может быть сколь угодно малой. Число P определяется двумя теоремами кодирования каналов (прямой
и обратной).
При решении практических задач помехоустойчивого кодирования следует принимать во внимание также
сложность реализации системы связи и методов кодирования и декодирования.
10.3. Модели каналов
Принимая во внимание многообразие природы искажения сигналов, возникающего в каналах связи, а также случайность многих видов искажений, естественно
предположить, что математическая модель искажений
в канале описывается условными распределениями вероятностей искажения выходных последовательностей
канала при известных последовательностях на входе
канала.
Здесь мы рассматриваем каналы с дискретным временем и полагаем, что сигналы на входе и на выходе канала являются элементами дискретных множеств. Модель
канала определена, если при любом n для любых последовательностей x∈X
условных вероятностей p(y/x).
Канал называется стационарным, если для любых
j, n и любых последовательностей
ловные вероятности p(
символами последовательностей и не зависят от индекса
j (от положения последовательностей во временном ряду).
n
и y∈Yn имеется правило вычисления
x
∈Xn,
1jnj
+
y
/
x
1jnj
+
) однозначно определены
1jnj
+
y
+
∈Yn ус-
1jnj
— 163 —
Глава 10. Кодирование в дискретных каналах с шумом
+
+
( )
1
/
jn
ii
ij
py x
+
= +
∏
pp p
11
pp
pp
Канал называется каналом без памяти, если для лю-
бых j, n и любых последовательностей
p(
y
/
x
1jnj
+
) =
1jnj
+
+
x
∈Xn,
+
1jnj
.
+
y
n
∈Y
+
1jnj
Таким образом, в канале без памяти передача символов в различные моменты времени образует множество
независимых событий.
Стационарный канал без памяти называется дискретным постоянным каналом (ДПК). Для описания ДПК
достаточно указать все условные вероятности для одномерных сообщений.
Пусть X={0,1,…,K-1}, Y={0,1,…,L-1}. Обозначим
p
=P(y=j/x=i) для любых i∈X, j∈Y, и запишем переход-
i,j
ные вероятности канала в виде стохастической матрицы
ℙ
размера K×L, называемой матрицей переходных веро-
ятностей канала:
00 01 01
,, ,
pp p
10 11 11
,, ,
ℙ
=
pp p
KK KL
10 11
,, ,
L
L
.
Пример 10.3. Двоичный симметричный канал (ДСК).
В этой модели канала X=Y={0,1} и матрица переходных
вероятностей канала имеет вид:
1
=
−
,
1
−
ℙ
то есть p
0,1=p1,0
Модель ДСК изображена на рисунке 10.2 помеченным графом. Узлы слева соответствуют входным символам, узлы справа — выходным символам. Дуги, помеченные соответствующими вероятностями, показывают
возможные трансформации символов в канале.
=p, p
0,0=p1,1
=1–p.
— 164 —
10.3. Модели каналов
Рисунок 10.2. Графическая модель ДСК
В ДСК последовательно передаваемые двоичные
символы искажаются с вероятностью p независимо от передачи и искажения других символов. Все переходные
вероятности не изменяются во времени и не зависят от передаваемого символа.
Практическая интерпретация модели ДСК подразумевает, что информация передается в канале двоичными сигналами. Приемное устройство (демодулятор)
анализирует выход канала в течение промежутка времени, соответствующего длительности элементарного
сигнала, и вычисляет скалярную величину m, которая
сравнивается с некоторым пороговым значением Т. При
m>Т решение принимается в пользу одного сигнала, при
m≤Т — в пользу другого сигнала. Порог Т можно выбрать
так, чтобы были одинаковы вероятности обеих ошибок
(принятие 1 при передаче 0 и принятие 0 при передаче
1). При таком балансе вероятностей ошибок реализуется
модель ДСК.
Нетрудно предположить, что в случаях m≈Т принима-
ются ненадежные решения, и информация о надежности
принятых решений демодулятором не сохраняется, хотя
она могла бы быть полезна при последующей обработке
информации, связанной с устранением ошибок в канале.
— 165 —
Глава 10. Кодирование в дискретных каналах с шумом
pp
pp
Следующая модель направлена на минимизацию по-
следствий этого недостатка.
Пример 10.4. Двоичный симметричный канал со стираниями (ДСтК). В этой модели канала входной алфавит
X={0,1}, а выходной алфавит Y={0,z,1}, то есть Y содержит дополнительный символ z, называемый символом
стирания. Матрица переходных вероятностей канала
имеет вид:
ℙ
=
11
то есть каждый символ может исказиться с вероятностью
p и с вероятностью e может принять неопределенное зна-
чение, называемое стиранием.
Графическая модель ДСтК изображена на рисунке
10.3. Узлы слева помечены символами входного алфавита X, узлы справа — символами выходного алфавита Y.
Дуги, помеченные соответствующими вероятностями, показывают возможные трансформации символов в канале,
в том числе и стирание.
Вероятность искажения p и вероятность стирания
e постоянны, они не зависят от передачи и искажения
других символов, не изменяются во времени и не зависят
от передаваемого символа.
Рисунок 10.3. Графическая модель ДСтК
— 166 —
10.4. Взаимная информация сообщений и источников сообщений
Практическая интерпретация данной моделей под-
разумевает, что при принятии решения о сигнале используется числовой сегмент [Т–D,Т+D], внутри которого принимаются решения о стирании символа. Более детально,
если m>Т+D, то решение принимается в пользу одного сигнала, при m<Т–D — в пользу другого сигнала, и о стирании
принимается решение при m∈[Т–D,Т+D]. Это изменение,
приводящее к модели ДСтК, повышает эффективность
системы, так как задача исправления стираний проще
задачи исправления ошибок. Как правило корректирующий код позволяет исправить стираний в 2 раза больше,
чем ошибок.
10.4. Взаимная информация сообщений
и источников сообщений
Этот раздел посвящен изучению возможности получения информации о передаваемых сообщениях по символам, наблюдаемым на входе канала. Иначе говоря, для
заданного произведения XY={(x,y), p(x,y)} дискретных
ансамблей X и Y требуется количественно измерить информацию об элементах x∈X входного ансамбля, содержащуюся в выходных символах y∈Y.
В качестве такой меры взята взаимная информация,
обозначенная I(x;y) и определяемая выражением:
I(x;y) = I(x) – I(x/y). (10.1)
Заметим, что в обозначении использован разделительный знак «;», чтобы не путать эту величину с собственной информацией I(x,y) пары сообщений (x,y).
Взаимная информация определена только для пар
(x,y), имеющих ненулевую вероятность. В качестве пояснения отметим, что уменьшаемое I(x) — количество
собственной информации в сообщении x. Вычитаемое
— 167 —
Глава 10. Кодирование в дискретных каналах с шумом
( ) ( )
log
yY
py py
∈
−
∑
( ) ( )
∑∑
( ) ( )
, log
x Xy Y
pxy py
∈∈
−+
∑∑
( ) ( )
∑∑
( )
I(x/y) — условная собственная информация, то есть количество информации в x после получения сообщения y.
Значит, I(x;y) соответствует изменению количества информации в x после получения сообщения y. Величина
I(x;y) есть мера информации о сообщении x, содержащей-
ся в сообщении y.
Свойства взаимной информации.
1. Симметричность: I(x;y) = I(y;x).
2. Если сообщения x и y независимы, то I(x;y) = 0.
Доказательства следуют из определений взаимной ин-
формации, условной вероятности и независимости событий.
Взаимная информация I(x;y) — это характеристика
пары сообщений, которая может принимать как положительные, так и отрицательные значения. Если сообщения
рассматриваются как случайные, то взаимная информация есть случайная величина, определенная на произведении ансамблей XY.
Средней взаимной информацией между ансамблями
X и Y, обозначаемой I(X;Y), называется математическое
ожидание величины I(x;y):
I(X;Y) = М[I(x;y)] = М[I(y)] — М[I(y/x)].
Среднюю взаимную информацию между ансамблями
X и Y можно рассматривать как среднее количество информации, переносимое в канале одним символом. Естественно, что эта величина неотрицательная.
Выразим I(X;Y) через совместное распределение вероятностей:
I(X;Y) =
=
=
∑∑
x Xy Y
∈∈
+
, log
p xy
( )
x Xy Y
x Xy Y
∈∈
, log /
pxy py x
∈∈
, log /
pxy py x
/
py x
py
.
( )
=
=
— 168 —
10.4. Взаимная информация сообщений и источников сообщений
Средняя взаимная информация определена для любых ансамблей X и Y. Если p(x,y)=0, то равно 0 и соответствующее слагаемое в сумме I(X;Y).
Свойства средней взаимной информации.
1. Симметричность: I(X;Y) = I(X;Y).
2. Неотрицательность: I(X;Y)≥0.
3. Равенство I(X;Y)=0 ⇔ ансамбли X и Y независимы.
4. I(X;Y) = H(X) – H(X/Y) = H(Y) – H(Y/X) = H(X) +
+ H(Y) – H(X/Y).
5. I(X;Y) ≤ min{H(X),H(Y)}.
6. I(X;Y) ≤ min{logX, logY}.
Доказательство. Свойство 1 следует из симметричности взаимной информации.
Усредняя обе части равенства (10.1) по всем парам
(x,y)∈XY, с учетом симметричности взаимной информации получаем первые 2 равенства цепи равенств свойства 4. Последнее равенство этой цепи следует из свойств
условной энтропии.
Так как условная энтропия не превышает безусловной, то из свойства 4 следует неотрицательность взаимной
информации (свойство 2).
Свойство 3 верно, так как условная энтропия равна
безусловной ⇔ ансамбли сообщений независимы.
Свойство 5 следует из свойства 4 и неотрицательности условной энтропии.
Свойство 6 есть следствие свойства 5 и оценки
H(X) ≤ logX.
Пример 10.5. Найти среднюю взаимную информацию
между ансамблями X и Y для двоичного симметричного
канала (ДСК) с вероятностью искажения p=0,2 и с вероятностями элементов источника p
=0,7 и p1=0,3.
0
Матрица переходных вероятностей канала имеет
0,8 0,2
P
вид:
) на выходе:
(q
0,q1
=
0,2 0,8
.
Отсюда определяем распределение
— 169 —
Глава 10. Кодирование в дискретных каналах с шумом
( )
q0=p0p
0/0+p1p0/1
=0,7×0,8+0,3×0,2=0,62; q1=1-q0=0,38.
Определяем совместное распределение (для ансамбля
X×Y):
p(0,0)=p
p(1,0)=p
1p0/1
=0,56; p(0,1)=p0p
0p0/0
=0,06; p(1,1)=p1p
=0,24.
1/1
=0,14;
1/0
Тогда средняя взаимная информация определяется
по формуле:
,
I(X;Y) =
∑∑
x Xy Y
∈∈
, log
p xy
( )
p xy
pxqy
( ) ( )
=
= 0,56×log1,29 + 0,14×log0,526 + 0,06×log0,323 +
+ 0,24×log2,105 = 0,236.
Выводы: 1. Величину I(X;Y) можно рассматривать
как среднее количество информации об элементах ансамбля X, содержащееся в элементах ансамбля Y. Эта
величина есть симмметричная характеристика пары ансамблей (X,Y).
Применительно к каналам связи I(X;Y) интерпретируется как среднее количество информации, переносимое
в канале символом.
2. Если выходные символы канала не зависят от входных, то передача информации невозможна, что согласуется со свойством 3.
10.5. Информационная емкость
и пропускная способность канала
Выразим достижимую скорость передачи информации по каналу через известные информационные величины: энтропию, взаимную информацию и др.
Рассмотрим дискретный стационарный канал. Количество информации о входных символах канала из ансамбля X, содержащееся в выходных символах из ансамбля
Y определяется средней взаимной информацией I(X;Y).
— 170 —
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]