ЛЕКЦИЯ №8
5.4. Устранение корреляционных связей между символами. Кодирование с предсказанием.
Между отдельными буквами в словах, символами в кодовых комбинациях , как указывалось выше, существуют корреляционные связи. Это значит, что вероятность появления следующей буквы, символа зависит от того, какие буквы, символы были переданы до этого.
Для устранения корреляционных связей между символами можно использовать линейное кодирование с предсказанием (Line Prediction Coding =LPCкодер).
Слово или сегмент в последовательности из n букв, символов (х1,х2,…,хn) описывается корреляционной матрицей:
R |
11 |
R12 |
R13 …R1n |
|
|
|
|||||
R |
21 |
R22 |
R23 …R2n |
|
|
М = |
. . |
. |
. |
(5.8) |
|
. |
. . |
. |
|
||
R |
n1 . |
. |
Rnn |
|
|
|
|||||
Rik - коэффициент корреляции между i-ой и k-ой буквами.
Зная предыдущие буквы, можно предсказать последующие. Предсказанное значение xk запишем в виде:
xk = c1x1 + c2x2 + ...... + ck-1xk-1 |
(5.9) |
Ошибка предсказания равна:
(5.10)
Коэффициенты сj подбирается таким образом, чтобы обеспечить минимум среднеквадратической ошибки предсказания. Поиск минимума сводится к решению системы уравнений:
|
d (xk - xk )2 |
|
|
|
|
= 0; j = 1, 2, .....(k - 1) |
|
|
|
|
|
|
d cj |
|
|
Оптимальное значение сj для предсказания xk имеет вид: |
|
||
cj опт =- Aik / Dk-1 |
(5.11) |
||
Aik - алгебраическое дополнение матрицы М для элемента Rjk. |
|
||
Dk-1 - определитель матрицы (k-1)-го порядка. |
|
||
Определитель матрицы D равен сумме произведений элементов любой строки матрицы на их алгебраические дополнения.
Алгебраическое дополнение Аij элемента аij равно определителю (минору), который получается после вычеркивания строки и столбца, в которых стоит элемент аij .
В линию связи передается ошибка предсказания. Рассмотрим простейший случай предсказания к-го символа по (к-1)-му:
xk = ck-1xk-1
где сk-1=R – коэффициент корреляции между к-ым и (к-1)-ым символами. В линию связи передаѐтся ошибка предсказания:
Δx = xk - xk ;
Кодирование с предсказанием позволяет уменьшить динамический диапазон передаваемого сигнала, а при использовании ИКМ уменьшить необходимое количество уровней квантования при заданной дисперсии шума квантования.
5.5.Увеличение энтропии дискретного источника независимых, неравновероятных сообщений с помощью неравномерного кодирования. Алгоритм Хаффмена.
Из вышеприведенного примера видно, что после укрупнения сообщений источника мы имеем те же сообщения. Они были закодированы кодом К2, энтропия которого больше, чем энтропия исходного сообщения, т.е. кода К1 . Символы нового кода независимы, некоррелированы. Однако, энтропия этого кода К2, вообще говоря, не максимальна, так как символы нового кода не равновероятны. Для дальнейшего увеличения энтропии необходимо закодировать символы кода К2 так, чтобы символы нового кода К3 были равновероятны. Это достигается неравномерным кодированием, например, в соответствии с алгоритмом Хаффмена. В соответствии с этим алгоритмом получим код с префиксными свойствами:
более короткая кодовая комбинация не должна являться началом более длинной комбинации.
Это позволяет осуществить однозначное декодирование без разделительных символов ( в отсутствии помех). Алгоритм Хаффмена предполагает построение «кодового дерева».
Алгоритм построения кодового дерева:
а) Расположить исходные сообщения в порядке убывания (невозрастания) вероятностей; б) Объединить два наименее вероятных сообщения в одно, вероятность которо-
го равна сумме вероятностей объединяемых сообщений (точка объединения сообщений называется «узлом кодового дерева»); в) Повторять шаги а) и б) до тех пор, пока не получим одно сообщение с веро-
ятностью 1. Эта точка называется «вершиной кодового дерева».
Например, кодовое дерево имеет вид рис.5.2 для источника сообщений, заданного в примере.
1
Рис.5.2.
Алгоритм кодирования слов новым двоичным кодом следующий: -идѐм от вершины кодового дерева к сообщению,
-если в узле мы идѐм вверх, то в кодовую комбинацию записывается единица, если вниз – ноль. В результате получим:
S4 => “1” ; S2 => “00” ; S1 => “011” ; S3 => “010” .
Проследите кодирование по кодовому дереву. Мы получили код К3 с префиксными свойствами.
Рассчитаем энтропию нового двоичного кода. Для этого надо определить вероятности нулей и единиц в новом коде. Пусть слова исходного источника S1, S2, S3, S4 имеют вероятности и закодированы как в нашем примере. Из 100 среднестатистических сообщений будем иметь S1 - 14 сообщений; S2 - 21 сообщение; S3 - 9 сообщений; S4 - 56 сообщений.
В соответствии с новым кодом имеем:
*14 сообщений S1, т.е. 14 символов 0 и 28 символов 1;
*21 сообщение S2, т.е. 42 символа 0;
*9 сообщений S3, т.е. 9 символов 1 и 18 символов 0; *56 сообщений S4, т.е. 56 символов 1.
Таким образом, 100 среднестатистических сообщений содержат: cимвол 0: N0 = 14*1 + 21*2 + 9*2 = 74 штуки;
cимвол 1: N1 = 14*2 +9*1 + 56*1= 93 штуки.
Вероятность появления единиц и нулей:
p(1) = N1/(N1+N0)=93/167 = 0.557; |
p(0)=0.443. |
Энтропия нового двоичного источника H’’:
H’’ = - p(1) log p(1) – p(0) log p(0)= - 0.557 log0.557–0.443 log0.443 =
=0.994 (двоичных ед./символ)
Избыточность нового двоичного источника, существенно уменьшилась:
R’’=1-0.994=0.006.
Определим среднюю длину кодовой комбинации:
N |
|
nср = pknk ; |
(5.12.) |
k =1
рк - вероятность k-того сообщения,комбинации; nk – длина кодовой комбинации k-го сообщения.
2
Для нашей задачи получим:
nср =0.56+ 0.14 3 + 0.21 2 + 0.09 3 = 1.67 (дв.симв. / сообщение)
Можно сделать вывод, что энтропия полученного кода К3 практически максимальна.
5.6. Эффективные способы передачи
Описанные методы нашли широкое применение в современных модификациях ИКМ.
Дифференциальная ИКМ (ДИКМ).
Этот способ передачи состоит в вычислении ошибки предсказания. Ошибка предсказания кодируется при меньшем числе уровней квантования. Структурная схема системы связи с ДИКМ показана на рис.5.3. Предсказатель - это трансверсальный фильтр. Его структурная схема показана на рис.5.4.
хk |
|
|
|
|
∆хk |
|
|
|
|
|
ДИКМ |
||
|
|
|
Квантователь |
|
|
|
Кодер ИКМ |
||||||
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Предска- |
|
+ |
|
|
|
||
|
|
|
|
|
|
|
затель |
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Линия |
|
|
|
|
|
связи |
|
∆хk |
|
|
хk |
Декодер ИКМ |
|
|
|||
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
Предсказатель
Рис.5.3.
Линия задержки
Ск-1 Ск-2 ………… …
С1
∑ |
Рис.5.4. |
3
Дельта - модуляция (ДМ).
При ДМ в тактовый момент времени передаѐтся только знак изменения функции по сравнению с предыдущим отсчѐтом рис.5.5. Если приращение положительное, то передаѐм "+1", если приращение отрицательное, то передаѐм "-1". На приѐме принятые импульсы подаются на ФНЧ, или интегратор.
Погрешности дискретизации и квантования приблизительно такие же, как и при ИКМ. Ширина спектра сигнала ДМ приблизительно равна ширине спектра сигнала ИКМ при одинаковых качественных показателях.
x(t)
∆x
t
UДМ(t)
t
Рис.5.5.
5.7. Увеличение энтропии путѐм увеличение основания кода m.
Будем считать, что символы нового двоичного кода К3 (m = 2) , полученного выше, практически равновероятны и каждый символ переносит 1 дв.ед. информации. Комбинации из двух двоичных символов (бит) называют дибитами. Дибиты этого кода 00, 01, 10, 11 будем кодировать четверичным кодом К4 :
00 - закодируем символом 0; 01 - закодируем символом 1; 10 - закодируем символом 2; 11 - закодируем символом 3.
Каждый символ нового четверичного кода несѐт уже не 1 дв.ед. информации (бит), а 2 дв.ед., т.к. при m=4 Hmax = log 4 =2 [бит/символ]. Энтропия этого кода максимальна, т.к. при равной вероятности каждого бита равновероятны и все дибиты.
Два символа двоичного кода длительностью 2Т несут, максимум, 2 бита информации (m=2; Hmax=1бит/символ; n=2; I = n * Hmax = 2бита). Один символ четверичного кода длительностью Т несет тоже 2 бита информации (m=4; Hmax=2бит/символ ; n=1; I = n * Hmax = 2 бита). Следовательно, мы в 2 раза увеличили скорость передачи информации. При этом помехоустойчивость приѐма уменьшается.
4