Статистическое эффективное кодирование. (Использование при передаче и хранении).

Под кодированием в широком смысле слова подразумевается представление сообщений в форме, удобной для передачи по данному каналу. Обратная операция называется декодированием.

Кодирование, учитывающее статистические особенности источника сообщений называется статистическим (эффективным) кодированием.

В настоящее время разработано большое количество различных способов оптимального статистического кодирования. Все они должны обеспечивать решение двух основных задач:

1. при заданной статистике сообщений {P_i}формировать кодовые комбинации, допускающие V(X)  C

2. возможность однозначного декодирования сигналов на приемной стороне

Для двоичного канала с отсутствием статистических связей между символами этим требованиям удовлетворяет код Шеннона-Фано.

Известно, что V  C выполняется при равной вероятности появления различных сообщений.

В соответствии с этим, построение кода выполняется по следующей последовательности:

А) все буквы алфавита выписывают столбцом в порядке убывания вероятности;

Б) столбец последовательно делят на группы с приблизительно равной суммарной вероятностью.

При этом:

• верхней половине  «0»;

• нижней половине  «1»;

В качестве примера рассмотрим алфавит сообщений из 8 букв (для С = 3000 дв.ед./с)

	Pi	Эффективное кодирование								Равномерное кодирование
		1	2	3	4	5	6	7	8		1	2	3
Z1	½	0									0	0	0
Z2	¼	1	0								0	0	1
Z3	⅛	1	1	0							0	1	0
Z4	1⁄₁₆	1	1	1	0						0	1	1
Z5	1⁄₃₂	1	1	1	1	0					1	0	0
Z6	1⁄₆₄	1	1	1	1	1	0				1	0	1
Z7	1⁄₁₂₈	1	1	1	1	1	1	0			1	1	0
Z8	1⁄₁₂₈	1	1	1	1	1	1	1			1	1	1

Особенности

В) Полученный код является неравномерным, т.к. длина кодовых комбинаций находится в обратной зависимости от их вероятности.

Г) Из таблицы видно, что ни одна из кодовых комбинаций не является началом другой. Этим обеспечивается свойство префикса – разделимости кодовых комбинаций, а, следовательно, и возможности однозначного декодирования сообщений.

Оценим скорость передачи информации для методов:

а) статистического кодирования;

V = C *I /_ср.

На передачу каждого сообщения в среднем требуется V = C/  1500 сообщ./с

8

_ср. = P_i *_i = 1⁶³/₆₄ дв.разр. _ср.= H(X)

i=1

8

H(X) = - P_i *log₂P_i =1⁶³/₆₄ бит/символ. Для C = 3000 дв.ед./с  V(Z) = 3000 бит/с;

i=1

б) равномерного кодирования;

Каждому сообщению требуется 3 двоичных разряда _равн.= log₂N, а каждое сообщение Z_i содержит:

8

I(Z) = H(Z) = - P_i*log₂P_i = 1⁶³/₆₄ бит/сообщ.

i=1

Поэтому, при C = 3000 дв.ед./с имеем: V = 1000сообщ./с V(Z) = 1*1000 = 1984 бит/с

В рассмотренном примере получено:

V(Z) = C и K_отн. =1 -идеальный случай.

Это удалось получить благодаря тому, что в рассмотренном примере значения P(Z_i) были заданы такие, что подгруппы точно делились пополам.

2. Введение в криптографию.

1. Приближение V к C было осуществлено за счет:

“качественно” – наиболее часто передаваемые сообщения кодировались наиболее короткой длиной двоичных разрядов, и наоборот.

“количественно” – (более строго) за счет нового кодирования получено равномерное распределение _i.

После кодирования сообщения, буквы алфавита Z_i были заменены на значения двоичных разрядов _j.

Рассмотрим вероятность появления значений _j (двоичных разрядов) для статистического и равномерного методов кодирования.

Статистическое Равномерное

 _j ₁ 0 P₀ = ¹⁵/₁₆

1 P1= ¹/₁₆

P_j = 0  0,5 j   равенство  ₂ 0 P₀ = ⁵¹/₆₄

P_j = 1  0,5 стремится к = 1 P1= ¹³/₆₄

₃ 0 P₀ = ⁸⁷/₁₂₈

1 P1= ⁴¹/₁₂₈

₁ ₂ ₃ ₁ ₂ ₃

явно неравномерное распределение

В реальных условиях это, как правило, не обеспечивается.

Рассмотрим следующий пример.

Источник вырабатывает сообщения, формируемые из трех независимых символов с вероятностями:

x₁ P₁= 0,65; x₂ P₂= 0,23; x₃ P₃= 0,12

1. оценить эффективность применения равномерного и статистического способа кодирования

2. каким образом можно добиться V = 0,99 *C, C = 1000 дв.ед./с

а) _{дв.равн.}= [log₂N] = [log₂3] = 2 дв.ед.

3

H(X) = P_i *log₂P_i = 1,26 бит

i=1

V(X) = H(X)/ _{дв.равн.}* C = 630 бит/с ; K = H(X)/ _{дв.равн.}= 1,26/2 = 0,63

что соответствует 63% от С.

б) применим эффективное кодирование

Pi ₁ ₂

X1 0,65  0

X 2 0,23  1 0

X3 0,12  1 1

3

При этом: _дв.=P_i *_дв.i= 1* 0,65 + 2* 0,23 + 0,12 *2 = 1,35 дв.ед.

i=1

K_{отн.коэф.}= 0,933

Причиной C > V(X) и K_{отн. эфф.} 1 при использовании эффективного способа кодирования является невозможность разбиения сообщений { X_i } на подгруппы с достаточно близкой вероятностью.