Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Элементы теории информации в защите информации. Учебное пособие для академического бакалавриата
.pdf
10.6. Неравенство Фано
1
n
1
1
Это верно не только для символов алфавитов, но и для последовательностей длины n>1 из ансамблей X
n
и Yn.
Таким образом, при использовании кодов длины
n количество получаемой декодером информации при
передаче одного кодового слова составляет в среднем
n;Yn
I(X
) бит, что соответствует скорости передачи инфор-
мации
I(Xn;Yn) бит / символ канала.
Эта величина зависит от переходных вероятностей
n
p(x/y), где x∈X
на входе канала p(x), где x∈X
, y∈Yn, и от распределения вероятностей
n
. Можно достичь наибольшей скорости передачи информации, выбрав соответствующее входное распределение вероятностей. Значит, скорость передачи информации достигает величины
max
{ }
I(Xn;Yn) бит / символ канала.
pnx
( )
Наконец, максимизировать последнюю величину
можно за счет выбора параметра n. Из этих рассуждений
вытекает определение: информационной емкостью канала называется величина
С
0
=
supmax
p
x
( )
{ }
n
I(Xn;Yn). (10.2)
n
Информационная емкость канала характеризует
потенциально достижимую скорость передачи информации по каналу. Весьма важным и непростым вопросом
является соотношение между информационной емкостью
канала и его пропускной способностью. Этот вопрос будет
освещен в дальнейшем.
10.6. Неравенство Фано
Связь между информационными характеристиками каналов связи, скоростью передачи информации
— 171 —
Глава 10. Кодирование в дискретных каналах с шумом
( )
∑∑
( )
∑∑
( )
∑
и вероятностью ошибки кодирования являются важными
вопросами кодирования. Ключ к решению этих вопросов
дает неравенство Фано.
Рассмотрим общую схему системы передачи сообще-
ний (рисунок 10.4).
Система связи
u∈U v∈V = U
Рисунок 10.4. Система передачи информации
Сообщениями являются элементы множества
U={u}={0,1,…,M–1}. Декодер выдает получателю оценки
сообщений, являющиеся элементами множества V={v},
как правило V=U. Ошибка декодирования происходит
в случае u≠v.
При известных алгоритмах работы кодера и декодера
известна математическая модель канала, и определено
распределение вероятностей на элементах произведения
ансамблей UV={(u,v), p(u,v)}. Тогда вероятность ошибки
P
вычисляется по формуле:
е
P
е
=
uvu
p uv
≠
,
.
Вероятность правильного решения равна
P
= 1– Pе =
с
uvu
p uv
=
,
=
p uu
u
,
.
Теорема 10.1 (неравенство Фано).
H(U/V) ≤ h(P
) + Pе×log(M–1).
е
Не приводя доказательства, поясним содержание этого неравенства с помощью эвристических рассуждений.
В левой части записана условная энтропия источника
сообщений при условии, что известно решение декодера.
Эта величина характеризует неопределенность относительно входного ансамбля после принятого декодером
решения. Как оценить возможность для декодера устранения этой неопределенности?
— 172 —
10.6. Неравенство Фано
Предположим, что у нас есть возможность задавать
вопросы некоторой информационной системе и получать
от нее (не бесплатно) ответы, отдавая некую плату за каждый бит полученной информации.
Сначала спросим, правильное ли решение принял
декодер. На этот вопрос имеется 2 варианта ответа, имеющие вероятности P
тить h(P
) бит.
е
и 1 – Pе. За этот ответ придется запла-
е
Если декодер принял верное решение, то задавать
вопросы далее не имеет смысла. Если декодер принял
неверное решение (это происходит с вероятностью P
),
е
то представляет интерес узнать, какой из оставшихся
M–1 вариантов является верным. Моделируя дальнейшие
вопросы как задачу поиска элемента в массиве порядка
M–1, оцениваем плату за получение ответа в log(M–1)
бит. Следовательно, за разрешение неопределенности
H(U/V) в целом придется заплатить не более
h(P
) + (1 – Pе)×0 + Pе×log(M–1)
е
бит, что совпадает с правой частью неравенства Фано.
Отметим полезную информацию. Обозначим g(P
)
е
функцию в правой части неравенства Фано и изучим
ее график на отрезке [0,1] (рисунок 10.5).
Рисунок 10.5. График g(
P
) — правой части неравенства Фано
е
— 173 —
Глава 10. Кодирование в дискретных каналах с шумом
e
P
1
1
ei
iN
P
N
≤≤
∑
N
e
P
e
P
e
P
Отметим следующие свойства:
1) g(0) = 0;
2) g(1) = log(M–1);
3) g(P
4) g(P
) выпуклая вверх;
е
) имеет единственный максимум в точке
е
x=(M–1)/M и g(x)=logM;
5) g(P
) монотонно возрастает на отрезке [0,x] и моно-
е
тонно убывает на отрезке [x,1].
Теорема 10.1 обобщается на случай передачи после-
довательностей сообщений длины N. В этом случае на схеме рисунка 1 следует положить u∈U
N
, v∈VN. Кроме того,
вероятность ошибки усредним по всем длинам последовательностей от 1 до N:
=
.
Теорема 10.2 (обобщение неравенства Фано). Для по-
следовательностей (u,v)∈U
1
H(UN/VN) ≤ h(
N×VN
выполнено:
) +
×log(M–1).
10.7. Обратная теорема кодирования
Эта теорема показывает невозможность надежной передачи информации со скоростью выше информационной
емкости канала.
Пусть для передачи используется код C длины n, состоящий из M=Cкодовых слов. В этом случае скорость
кода равна R=logC/n, отсюда число кодовых слов равно
nR
M=2
ла с информационной емкостью C
ствует число e>0 такое, что для любого кода со скоростью
R>C
.
Теорема 10.3. Для дискретного стационарного кана-
для любого d>0 суще-
0
+d средняя вероятность ошибки
0
— 174 —
≥e.
10.9. Информационная емкость симметричных каналов
( )
ii
∏
( )
Прямая теорема кодирования будет дана для более
узкого класса моделей каналов.
10.8. Вычисление информационной
емкости каналов без памяти
Рассмотрим дискретный постоянный канал (ДПК) —
стационарный канал без памяти, он задан входным и выходным алфавитами X={x} и Y={y} и матрицей условных
распределений P={p(y/x)}. В этой модели канала условные вероятности p(y/x) для любых последовательностей
x={x
,…,xn}∈Xn и y={y1,…,yn}∈Yn вычисляются по форму-
1
ле:
p(y/x) =
1
in
≤≤
По определению информационная емкость канала
вычисляется по формуле (1), которая предполагает поиск
экстремума по счетному множеству значений параметров.
Для ДПК формула (1) заметно упрощается с помощью (2).
Теорема 10.4. Для ДПК
С
=
max ;
0
p
x
( )
{ }
При небольшом объеме алфавита оптимизация величины С
может быть выполнена аналитически или чис-
0
ленными методами с помощью стандартных компьютерных программ (имеется алгоритм Блэйхута, эффективно
решающий эту задачу).
Однако для ряда простых случаев получено явное выражение величины С
.
0
/
py x
I XY
. (10.3)
.
10.9. Информационная емкость
симметричных каналов
Рассмотрим некоторые частные случаи матрицы
P переходных вероятностей.
— 175 —
Глава 10. Кодирование в дискретных каналах с шумом
( )
{ }
( )
{ }
maxpHY
x
( ) ( )
/
x
pxHY x
∑
ДПК называется:
• симметричным по входу, если все строки его ма-
трицы P переходных вероятностей могут быть получены
перестановками элементов первой строки;
• симметричным по выходу, если все столбцы его
матрицы P переходных вероятностей могут быть получены перестановками элементов первого столбца;
• полностью симметричным, если он симметрич-
ный по входу и симметричный по выходу.
На рисунках 10.6–10.8 изображены диаграммы
Свойства симметричных каналов.
1. Для симметричного по входу канала без памяти
С
0
=
– H(Y/x), x∈X.
2. Для симметричного по входу канала без памяти
С
≤ logY – H(Y/x), x∈X.
0
3. Для симметричного по выходу канала без памяти
при равновероятных входных символах выходные символы также равновероятны.
4. Для полностью симметричного канала без памяти
С
= logY – H(Y/x), x∈X.
0
Доказательство. 1. В равенство
I(X;Y) = H(Y) – H(Y/X) (10.4)
подставим выражение H(Y/X)=
все строки матрицы P одинаковы с точностью до перестановки элементов, то одинаковы и все условные энтропии
H(Y/x). Значит, вычитаемое в (10.4) не зависит от входного распределения. Отсюда максимизация взаимной информации сводится к максимизации энтропии H(Y).
самбля Y числом logY.
. Так как
2. Свойство 2 следует из ограничения энтропии ан-
3. По формуле полной вероятности
— 176 —
10.9. Информационная емкость симметричных каналов
Рисунок 10.6. Двоичный симметричный канал
Рисунок 10.7. Двоичный симметричный канал со стиранием
Рисунок 10.8. Двоичный канал, симметричный по выходу
— 177 —
Глава 10. Кодирование в дискретных каналах с шумом
( ) ( )
∑
1
py x
1
pp
pp
p(y) =
pxpy x
x
/
.
Если буквы на входе равновероятны, то
/
p(y) =
X
∑
x
( )
, y∈Y.
В правой части суммируются элементы столбца матрицы переходных вероятностей. Так как в случае симметричного по выходу канала столбцы одинаковы с точностью до перестановки элементов, то сумма не зависит
от y. Значит, p(y)=
в силу стохастичности матрицы
Y
переходных вероятностей.
4. Из свойств 1–3 непосредственно следует свойство 4.
Пример 10.1. Из свойства 4 получаем формулу информационной емкости двоичного симметричного канала:
С
= 1 – h(p).
0
Информационная емкость симметрична относительно точки p=1/2, она равна 0 при p=1/2, так как в этом
случае вход и выход канала независимы.
ДПК называется симметричным в широком смыс-
ле, если с помощью перенумерации выходных символов
(перестановки столбцов) его матрица представима в виде
ряда подматриц (клеток), каждая из которых полностью
симметричная:
P = (P
1P2
…Pk).
Матрица переходных вероятностей ДСтК с помощью
перестановки столбцов можно привести к виду:
значит, ДСтК симметричный в широком смысле.
1
P' =
1
.
Здесь обе подматрицы полностью симметричные,
— 178 —
9.10. Прямая теорема кодирования для дискретных постоянных каналов
12
e
P
Свойство симметричного канала 5. Для симме-
тричного в широком смысле канала максимум взаимной
информации между входом и выходом достигается при
равновероятных буквах входного алфавита.
Пример 10.2. Из свойства 5 следует, что максимум
взаимной информации между входом и выходом достигается при p
(0)=px(1)=1/2. Отсюда в соответствии с форму-
x
лой полной вероятности получаем:
p
(0)=py(1)=
y
, py(z)=e.
Подставляя эти значения в формулу для взаимной
информации, получаем:
p
С
= (1–e)
0
11
.
Из этой формулы получается, в частности, простая
формула для информационной емкости канала со стираниями и без ошибок. При p=0 имеем:
= 1 – e.
С
0
Этот результат имеет следующую интерпретацию.
Так как доля стертых символов равна e, то доля успешно
(и заведомо верно) переданных символов равна 1-e.
9.10. Прямая теорема кодирования
для дискретных постоянных каналов
Теорема 10.5. Для ДПК с информационной емкостью
С
для любых d,e>0 существует достаточно большое число
0
n
такое, что для любого натурального n≥n0 существует
0
код длины n со скоростью R≥C
ошибки которого
≤e.
Иначе, при скорости кода сколь угодно близкой
к информационной емкости С
— 179 —
-d, средняя вероятность
0
, но не превышающей
0
Глава 10. Кодирование в дискретных каналах с шумом
( ) ( )
1
;;I I XY
n
−xy
( )
xy
( )
yx
( )
p y
lim
n
2
2
ее, можно, увеличив длину кодовых слов, достичь сколь
угодно малой вероятности ошибки.
Итак, из прямой и обратной теорем кодирования
ДПК следует, что информационная емкость С
совпадает
0
с пропускной способностью канала С.
10.11. Типичные пары последовательностей
Определим для ДПК множество типичных пар после-
довательностей (x,y)∈X
(e) = {(x,y):
T
n
;I
где
— взаимная информация между последова-
n×Yn
:
≤ e},
тельностями x,y, e — положительная константа.
Обозначим вероятность множества T
P(T
(e)), если последовательности x и y выбраны в соот-
n
ветствии с распределением p(x,y)=p(x)
Q(T
(e)), если последовательности x и y выбраны незави-
n
симо, то есть p(x,y)=p(x)
.
(e) через
n
/p
и через
Теорема 10.6. При любых e>0:
1.
2. Q(T
3. Существует достаточно большое число n
при n≥n
P
e
e
n
(e)) ≤
n
выполнено:
Q(T
=1.
nIXY;
(e)) ≥ (1–e)
n
.
nIXY;
такое, что
e
.
Иначе, 1-е утверждение устанавливает, что с ростом
n почти все пары совместно выбранных последовательностей становятся типичными (доля нетипичных последовательностей стремится к нулю).
Если последовательности выбираются независимо,
то согласно 2-му утверждению вероятность получить типичную пару последовательностей экспоненциально убывает с ростом n.
— 180 —
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]