Березкин Основы теории информации и кодирования 2010

жеств U 3 , и найти соответствующее распределение вероятностей

(рис. 11.20)

Рис. 11.20. Схема решения задачи для D 2

8.2. Элементы решения задачи приведены на рис. 11.21.

8.3. Процедура асимптотически эффективного кодирования состоит из следующих шагов:

– находим наибольшее M число последовательностей T , удовлетворяющее условиям

282

M 2 [ H (U ) ] ;

J ( ) [H (U ) ];

– из условия Dn M 1 определяем длину кодовых слов как наименьшее большее целое

Идея кодирования состоит в том, что M последовательностей из букв представляются различными кодовыми словами одина-

ковой длины n , а все остальные последовательности – одним и

тем же кодовым словом. Возникающая при этом вероятность неоднозначного кодирования равна вероятности появления сообщений

из множества T .

Результаты кодирования приведены в табл. 11.2.

Таблица 11.2

283

8.4. Расчет условных энтропий проводится по следующим формулам:

H ( A) p( 1 ) log2 p( 1 ) 2 ,

1 A

H ( A/ A1 ) p( 1 ) p( 2 / 1 ) log2 p( 2 / 1 ) 1,75 ,

1 A 2 A

H(A/ A2 ) p( 1 ) p( 2 / 1 ) p( 3 / 1 2 )log2 p( 3 / 1 2 )

1 A 2 A 3 A

p( 1 ) p( 2 / 1 ) p( 3 / 2 )log2 p( 3 / 2 ) 1,75,

1 A 2 A 3 A

...

H(A/ A ) lim H(A/ A ) 1,75.

8.5. Результаты кодирования приведены в табл. 11.3. Эффективность кодирования при этом составила

8.6. В соответствии с основной теоремой кодирования

2 n 2,1 .

8.7. Метод универсального кодирования (УК – метод Бабкина) применяется в случае неизвестных статистических характеристик источника сообщений и состоит в следующем. Пусть в накоплен-

284

ном n - блоке имеется k единиц и (n-k) нулей. Пронумеруем последовательно нули и единицы, встречающиеся в n - блоке. Пусть

В этом случае справедливы следующие утверждения:

взаимно однозначно.

]x[ – наименьшее большое целое.

Для порожденной источником последовательности имеем

285

Построим для этого случая таблицу вычисления биномиальных коэффициентов (табл. 9.5).

Таблица 11.4

В таблице слагаемые, соответствующие искомым биномиальным коэффициентам, обведены,

bk 32, (k , bk ) (0101,100000) .

Декодирование производится в обратном порядке; так как k=5, ищем в 5-м столбце наибольшее число, меньшее или равное 32. Вычисляем разность 32-21=11. В 4-м столбце имеем наибольшее число, меньшее или равное 11, и т.д. Таким же образом декодирование производится при любом n.

8.8. Для решения задачи достаточно воспользоваться свойством стационарности дискретного марковского источника. Источник стационарен, так как все распределения вероятностей не зависят от

iи справедливо соотношение

p( i 1) p( i / i 1) p( i ) .

i 1 Ai 1

Более того, для стационарного состояния источника можно принять

p( i 1) p( i 1 1); p( i 0) p( i 1) 1;

Jlog2 p( i 1)

log2 0,4 1,322 .

286

9.1. Дискретный двоичный канал (ДК) без памяти задается матрицей условных (переходных) вероятностей

В теории информации доказывается, что информационная пропускная способность дискретного стационарного канала может быть вычислена по формуле

C max H ( X ;Y ) ,

p ( xk )

p(xk ) 1,

X

(1 z) p2 log 2 p2 (1 z)(1 p2 ) log 2 (1 p2 ).

287

где D 1 exp( B / ) ,

B p1 ln p1 (1 p1 ) ln(1 p1 ) p2 ln p2 (1 p2 ) ln(1 p2 ) .

Итак, информационная пропускная способность канала вычисляется по формуле C H ( X ;Y ) z z0 .

Поверхность C F[ p1 , p2 ] приведена на рис. 11.22.

Рис. 11.22. Поверхность Сдля двоичного канала

9.2. Эквивалентный канал (рис. 11.23) симметричен по входу и выходу. Следовательно,

C 1 (1 2 p 2 p2 )log2 (1 2 p 2 p2 ) (2 p 2 p2 )log2 (2 p 2 p2 ) .

288

10.1. На приемном конце принята комбинация

Вычислив опознаватель

o1 x1 x3 x5 x7 1, o2 x2 x3 x6 x7 0,

o3 x4 x5 x6 x7 1,

исправляем 5-й разряд. Следовательно, был передан код 1001011. Образующая матрица группового кода Хэмминга (7,4) имеет

вид

который позволяет достаточно просто убедиться в правильности принятого решения.

x2 1

По таблице ошибок (табл. 10.11) находим, что искажение произошло в разряде 7. Исправляем этот разряд. Следовательно, был передан код 0001011.

Образующая матрица циклического кода Хэмминга (7,4) имеет вид

290