Конспект лекции по ТЭС

Алгоритм экономного кодирования кодом Хаффмана:

1. Символы источника выписываются в порядке убывания их вероятностей. Если число символов источника M m не кратно m , то алфавит дополняют до кратности новыми символами с вероятностью равной 0.

2.Выбираются m символов с наименьшими вероятностями. От каждого из них вправо рисуются ветви, на которых произвольно отмечаются кодовые символы от 0 до

m1 .

3.Эти символы объединяются в один укрупнённый символ с вероятностью равной их сумме вероятностей.

4.Повторяем п.2 и 3, пока не закончатся все символы.

5.Справа налево по дереву выписываются последовательности кодовых символов, соответствующие исходным символам источника.

6.Кодирование исходного сообщения полученным кодом.

Пример. Для текста на русском языке H (A) 1,5 бит/символ. Для удобства примем, что объём алфавита M 32 буквы. Закодируем каждый символ источника (длина k 1 ) примитивным двоичным ( m 2 ) кодом. Для этого длина кодовых комбинаций должна быть равна log2 M log2 32 5 дв.символов. Тогда n / k 5 код.символов/символ источника.

Согласно теореме кодирования Шеннона для дискретного источника существует оптимальный двоичный код, с помощью которого каждую букву источника можно

Следовательно, закодированный таким экономным кодом текст будет в 5/1,5 3,3 раза короче, чем при примитивном кодировании.

120

Пример 2. Имеется источник без памяти с M 2 (таблица 2). Используем двоичный ( m 2 ) код Хаффмана для кодирования комбинаций символов источника длины k 1 .

Таблица 2. Таблица кодирования двоичным кодом Хаффмана при k 1 .

Для этого кода средняя длина кодовой комбинации n 1 кодовый символ, избыточность С A 39% и коэффициент сжатия Rc 1, т.е. сжатия не происходит, а полученный код является примитивным двоичным кодом.

Согласно теореме Шеннона, чтобы повысить эффективность кодирования, необходимо увеличивать k . Выберем k 2 ( M 2k 4 ) и снова используем двоичный код Хаффмана.

Поскольку источник без памяти, то вероятность появления на его выходе различных последовательностей длины 2 можно рассчитать по формуле P(a1, a2 ) P(a1 )P(a2 ) . Исходные данные и результат кодирования представлены в таблице 3.

M 1

n P(ai )ni 1 0, 7225 2 0,1275 3 0,1275 3 0, 0225 1, 4275 [кодовых символов]

удалось повысить эффективность кодирования на 62,8%. Большей эффективности кодирования можно добиться, если выбрать длину информационных комбинаций k 3 и более. Только в дальнейшем с увеличением k рост её будет значительно медленной.

122

Кроме кода Хаффмана существует множество других экономных кодов, например, экономный код Шеннона–Фано (1950). Считается, что он менее эффективный, но проще в реализации (не нужно строить кодовое дерево). При кодировании этим кодом все символы записываются в порядке убывания их вероятностей. Затем они делятся на m укрупнённых символов с приблизительно равными вероятностями. Каждому вновь полученному укрупнённому символу приписывается новый кодовый символ. Далее то же самое проделывается с каждым укрупнённым символом в отдельности.

Трудности практической реализации кодов Хаффмана и Шеннона–Фано

Для составления кодовых комбинаций необходимо знать априорную вероятность информационных комбинаций или укрупнённых символов источника P(ai ) . Априорные вероятности можно оценить, если перед кодированием сохранить в буфере памяти

Следовательно, при кодировании необходимо: 1) задерживать целиком всё сообщение в буфере памяти; 2) рассчитывать оценки априорных вероятностей информационных комбинаций; 3) выполнить кодирование информационных комбинаций; 4) закодировать целиком всё сообщение; 5) к закодированному сообщению нужно добавить таблицу кодирования, по которой получатель смог бы правильно декодировать сообщение.

При практической реализации осуществить все этапы кодирования достаточно сложно. Поэтому используют субоптимальные способы кодирования, которые близки к оптимальным, но проще в реализации. Среди них можно выделить способы кодирования, в которых 1) используется заранее заданное распределение вероятностей информационных комбинаций, по которому формируются кодовые комбинации префиксного кода; 2) кодовые комбинации префиксного кода формируются по мере поступления данных в кодер.

В первом случае полученный код хорошо подходит для сжатия одних сообщений или данных, но плохо подходит для других. Во втором случае не учитывается распределение вероятностей символов. Второй способ кодирования используется для построения кодов, объединённых под общим названием ZIP коды. Основной вариант ZIP кода – код Лемпела– Зива (Lempel-Ziv) и различные его модификации используются в коммерческих программах сжатия (ZIP, GZIP, PKARC и др.).

Недостаток экономного кодирования

Основным недостатком экономного кодирования является его слабая защищённость от ошибок. Из-за устранения избыточности даже одиночная ошибка искажает сообщение так, что его невозможно полностью восстановить.

123

ЛЕКЦИЯ 16

Помехоустойчивое кодирование в каналах с шумом. Общие принципы обнаружения и исправления ошибок с помощью избыточных кодов по минимуму хэммингова расстояния. Оценки исправляющей и обнаруживающей способности блочного кода (кратности ошибок) по его минимальному хэммингову расстоянию. Оценки вероятностей ошибочного декодирования. Основные виды помехоустойчивых кодов. Системы декодирования с обратной связью.

Теорема Шеннона для непрерывного канала с шумом утверждает, что если производительность источника информации меньше пропускной способности канала H (A) C , то существуют способы кодирования и декодирования, при которых pb можно

сделать сколь угодно малой. Выбор одного из таких способов кодирования позволил бы передавать информацию по каналу фактически без ошибок.

Таким способом кодирования является помехоустойчивое кодирование. При помехоустойчивом кодировании в передаваемые данные вводят дополнительные или избыточные символы, которые называются проверочными символами. Проверочные символы используются для обнаружения и исправления ошибок в кодовых комбинациях.

При помехоустойчивом кодировании обычно m M и

c n

Блочные коды

Кодовые комбинации блочного кода имеют постоянную и конечную длину n . Каждой кодовой комбинации соответствует определённая информационная комбинация длины k . Блочный код обозначается (n, k) .

Конечное поле символов

В кодировании символы комбинаций рассматриваются как элементы некоторого поля. Поле – это набор элементов с однозначно заданными операциями сложения и умножения. Операции вычитания и деления являются обратными к сложению и умножению.

Поле с конечным числом элементов q называют полем Галуа и обозначают GF (q) . Свойства конечного поля:

1. Конечное поле может иметь число элементов равное q pv ,

где p – простое число, v 0 – целое число.

2. В любом поле существует только один нулевой элемент 0 и один единичный элемент

1, такие что 0 a a , 0 a 0 и 1 a a .

При v 1 поле является простым, потому что число его элементов равно простому числу q p . В простом поле операции сложения и умножения выполняются по модулю p .

При v 1 поле является расширением простого поля. Операции сложения и умножения элементов расширенного поля не выполняются по модулю q .

124

Например, при p 2 , GF (2) {0,1} и

Векторное пространство Векторное пространство – это совокупность векторов, для которых заданы операции

сложения и умножения на скаляр. Если элементами векторов являются элементы некоторого поля, то векторное пространство линейное. Линейное векторное пространство Yn с векторами длины n должно удовлетворять условиям:

1.Существует единственный нулевой вектор 0 Yn , такой что 0 y y Yn .

2.Сумма любых векторов векторного пространства даёт вектор, который также принадлежит векторному пространству: yi y j yr Yn .

Векторное пространство, которое не удовлетворяет этим условиям, является

125

Пространство кодовых комбинаций

Совокупность векторов векторного пространства образует подпространство. В подпространство можно включить векторы, которые совпадают с кодовыми комбинациями.

Тогда такое подпространство является пространством кодовых комбинаций Cn ( Cn Yn ).

Линейные коды

Для линейного кода пространство кодовых комбинаций Cn должно быть линейным (что возможно, если векторное пространство также линейное).

Свойства линейного кода:

1.Существует единственная нулевая кодовая комбинация 0 Cn , такая что 0 c c .

2.Сумма двух любых кодовых комбинаций снова даёт кодовую комбинацию:

где bi – некоторые коэффициенты.

Можно убедиться, что оба свойства линейного кода удовлетворяются. Следовательно,

убедиться, что они линейно независимые, т.е. ни при каких b0 и b1 , принадлежащих полю GF (2) и одновременно не равных нулю,

b0g0 b1g1 0 .

Тогда все Nк.к 2k 4 кодовые комбинации можно найти по формуле (21), в которой

– порождающая матрица кода размера 5 2 .

Таблица кодирования для двоичного кода (5,2).

126

Систематический и несистематический коды

Если при кодировании информационные комбинации входят в кодовую комбинацию в явном виде, то такой код называют систематическим кодом: c (c0 , c1, c2 ,..., cn 1 ) (b0 ,..., bk 1, k ,..., n 1 ) . Иначе код является несистематическим.

Для систематического кода порождающая матрица имеет следующую структуру

где Ik – единичная матрица размера k k , Γ – матрица проверочных символов кода, размера

(n k) k .

переставленными столбцами и строками).

Из определения следует также, что если c – кодовая комбинация, то

Дуальный код

Если в качестве порождающей матрицы использовать проверочную матрицу H , а вместо проверочной матрицы порождающую матрицу G , то полученный таким образом код называют дуальным кодом.

Дистанционные свойства в пространстве комбинаций

Вес комбинации (y) – число ненулевых символов в комбинации y . Например,

127

между всеми кодовыми комбинациями находим, что минимальное расстояние кода равно

dmin 3 .

Для линейных кодов минимальное расстояние кода находится значительно проще, а именно, оно равно наименьшему весу ненулевой кодовой комбинации (следует из 4 свойства):

Минимальный вес, не равный нулю, равен 3. Следовательно, минимальное расстояние

ni 1, 0, 0, 2,1, 0 .

Спектр кода позволяет рассчитать вероятность необнаруженной ошибки и другие характеристики кода.

Передача кодовых комбинаций по дискретному симметричному каналу без памяти

В линейном пространстве комбинацию на выходе дискретного канала с аддитивным шумом можно определить выражением

128

В дискретном симметричном канале без памяти вероятность перехода кодовой комбинации ci в комбинацию y (функция правдоподобия) равна

одиночные ( d (y, ci ) 1 ), далее двойные ( d (y, ci ) 2 ), тройные и т.д.

Правило максимума правдоподобия при декодировании кодовых комбинаций (режим исправления ошибок):

Для дискретного симметричного канала без памяти правило максимума правдоподобия совпадает с правилом минимума расстояния:

Алгоритм или правило минимума расстояния состоит в выборе в качестве решения той кодовой комбинации, которая ближе всех по Хэммингу к принятой комбинации.

в пользу ci . Если же будет принята любая комбинация с другой половины, то декодер вынесет решение в пользу c j .

Декодирование блочных кодов Табличное декодирование блочных кодов. При реализации декодеров по минимуму

расстояния для кодов с небольшим числом кодовых комбинаций, исправляющих не менее t ошибок, составляют таблицу декодирования, в которой всевозможные ошибочные (запрещённые) комбинации объединяются с ближайшими по Хэммингу кодовыми комбинациями.

Таблица декодирования комбинаций линейного кода (стандартное расположение).

129