Гуманитарные аспекты теории информации

первого символа приписывают 1, а всем нижним – 0. Каждую из полученных групп, в свою очередь, разбивают на две подгруппы по тому же принципу и т.

д. Процесс повторяется до тех пор, пока в каждой подгруппе не останется по одному символу.

При кодировании по этому принципу средняя длина кодовой комбина-

ции близка к минимальной, а энтропия на выходе кодера максимальна.

Методика построения кода Хаффмена сводится к следующему. Буквы алфавита вписывают в основной столбец (табл. 1.4) в порядке убывания веро-

ятностей. Два последних символа объединяют в один вспомогательный сим-

вол, которому приписывают суммарную вероятность. Вероятности символов,

не участвовавших в объединении, и полученную суммарную вероятность сно-

ва располагают в порядке убывания вероятностей в дополнительном столбце,

а две последние объединяют. Процесс продолжается до тех пор, пока не полу-

чим единственный вспомогательный символ с вероятностью, равной единице.

Таблица 1.4

Далее строят кодовое дерево(рис. 1.1). Из точки, соответствующей ве-

роятности 1, направляют две ветви, причём ветви с большей вероятностью присваивают символ 1, а с меньшей0. Такое последовательное ветвление продолжают до тех пор, пока не дойдут до вероятности каждого символа.

Рис. 1.1

Двигаясь по кодовому дереву сверху вниз, записывают для каждого символа соответствующую ему кодовую комбинацию: а1 – 01; а2 – 00; а3 –

111; а4 – 110; а5 – 100; а6 – 1011; а7 – 10101; а8 – 10100.

Любой эффективный код должен обладать свойством префиксности,

т. е. никакая более короткая кодовая комбинация не должна являться началом более длинной.

Задача 2

Тема: Помехоустойчивое кодирование

Задача 2.1

Код задан производящей (генераторной) матрицей [G] (табл. 2.1).

По заданной матрице необходимо:

1.Определить параметры кода: n, k, N, M.

2.Построить проверочную матрицу.

3.Составить уравнения проверок.

4.Составить таблицу исправлений.

5.Найти кодовое расстояние и определить возможности кода по обна-

ружению и исправлению ошибок.

6.Составить схемы кодера и декодера, исправляющего одиночную ошибку.

Задача 2.2

Код задан проверочной матрицей [H] (табл. 2.2).

По заданной матрице необходимо:

1.Построить генераторную матрицу.

2.Определить параметры кода: n, k, N, M.

3.Составить уравнения проверок.

4.Составить таблицу исправлений.

5.Найти кодовое расстояние и определить возможности кода по обна-

ружению и исправлению ошибок.

6.Составить схемы кодера и декодера, исправляющего одиночную ошибку.

Задача 2.3

Код задан схемой кодирующего устройства (табл. 2.3).

По заданной схеме необходимо:

1.Составить уравнения проверок.

2.Построить генераторную и проверочную матрицы.

3.Составить таблицу исправлений.

4.Определить параметры кода: n, k, N, M.

5.Найти кодовое расстояние и определить возможности кода по обна-

ружению и исправлению ошибок.

6.Составить схему декодера, исправляющего одиночную ошибку.

Краткие сведения из теории

Кодер источника, или первичный кодер, осуществляет эффективное ко-

дирование, т. е. кодирование с целью уменьшения избыточности источника информации.

Однако двоичные слова первичного кодера не в состоянии противосто-

ять действию помех, т. к. любая ошибка переводит одну разрешенную кодо-

вую комбинацию в другую разрешенную. Для того чтобы ошибки можно бы-

ло обнаруживать и исправлять, необходимо, чтобы число возможных кодовых комбинаций было больше числа разрешенных. Эту задачу выполняет кодер канала, или вторичный кодер, который к k символам первичного кодера до-

бавляет по определенным правиламr проверочных символов. Общая длина кодового слова на выходе кодера канала становится равнойn = k + r, и общее число возможных кодовых комбинаций (N = 2n) будет намного больше числа разрешенных (M = 2k), что дает возможность обнаруживать и исправлять ошибки в тех или иных позициях кодового слова канала.

b4 = a1 Å a2 b5 = a2 Å a3 . b6 = a1 Å a3

Кодер состоит из n-разрядного универсального регистра сдвига и n – k = r сумматоров по модулю два (в нашем случае сумматора три). В регистр мож-

но одновременно записать k информационных символов (в нашем случае три).

После этого формируются контрольные символы, согласно уравнениям про-

верок. Схема кодера приведена на рис. 2.1.

от источника информации

+

+

+

Рис. 2.1

Схема декодера, обнаруживающего ошибки, также составляется по уравнениям проверок. Регистр также n-разрядный. Сумматоров столько же,

сколько и в схеме кодера, только у каждого из них на один вход больше. Если ошибок не было, то уравнения проверок выполняются и на входах и выходе схемы «ИЛИ» – нули. Если хотя бы в одной позиции была ошибка, то хотя бы на одном из входов и выходе появится«1», что сигнализирует об ошибке.

Схема декодера, обнаруживающего ошибки, приведена на рис. 2.2.

Схема декодера, исправляющего одиночную ошибку, приведена на рис. 2.3. Работает декодер следующим образом. Кодовые комбинации из канала в последовательном режиме записываются в регистр Рег. 1. С помощью трех сумматоров по модулю два осуществляется проверка на наличие ошибки в информационных разрядах, согласно уравнениям проверок. В зависимости от номера разряда, в котором произошла ошибка, на выходах 1-го, 2-го и 3-го сумматоров будут различные кодовые комбинации. Если ошибка произошла в разряде a1, то на выходах трех сумматоров появится комбинация101, т.к. a1

подается на первый и третий сумматоры; если ошибка в разряде a2 – комбина-

ция 110 (a2 подается на первый и второй сумматоры); если ошибка в разряде a3 – комбинация 011 (a3 подается на второй и третий сумматоры). Если ошиб-

ки нет, то кодовая комбинация будет000. Эти кодовые комбинации называ-

ются синдромами ошибок.

Анализ синдромов осуществляет дешифратор синдромов(ДС). Он име-

ет три выхода. При наличии ошибки «1» появится на том выходе, в какой по-

зиции произошла ошибка. На остальных выходах – нули.