- •Министерство образования и науки Российской Федерации
- •Введение
- •1 Определение информации
- •2 Этапы обращения информации
- •3Измерение информации
- •4 Информационные системы
- •5 Проблемы передачи информации
- •6 Предмет теории информации
- •7 Структура книги
- •1 Количественная оценка информации источников
- •1.1 Дискретный источник
- •1.1.1 Определение меры оценки количества информации
- •1.1.2 Частная взаимная информация дискретных источников сообщений
- •1.1.3 Энтропия дискретного сообщения
- •1.1.4 Условная энтропия дискретных сообщений
- •1.1.5 Энтропия объединенного сообщения
- •1.1.6 Средняя взаимная информация дискретных источников сообщений
- •1.2 Непрерывный источник
- •1.2.1 Собственная информация и энтропия
- •1.2.2 Основные свойства дифференциальной энтропии непрерывного источника
- •1.2.3 Средняя взаимная информация непрерывных источников сообщений
- •1.2.4 Эпсилон-энтропия непрерывных источников сообщений
- •2 Кодирование сообщений источников
- •2.1 Модели дискретных источников сообщений
- •2.2.Общие принципы и основная теорема кодирования дискретных источников сообщений
- •Теорема (о средней длине кодового слова)
- •2.3 Методы эффективного кодирования
- •2.3.1 Метод кодирования источников ШеннонаФано
- •2.3.2 Метод кодирования источников Хаффмена
- •2.4 Предельная условная энтропия дискретных источников сообщений
- •2.5 Информативность непрерывных источников сообщений дискретного времени
- •2.6 Средняя взаимная информация непрерывных источников сообщений непрерывного времени
- •2.7 Квазиобратимое эффективное кодирование непрерывных источников
- •2.8 Эпсилон-энтропия Гауссовского вектора сообщений
- •2.9 Эпсилон - энтропия стационарного Гауссовского процесса дискретного времени
- •Теорема.
- •Помехоустойчивое кодирование
- •3.1.1 Методы повышения верности передачи информации
- •3.1.2 Понятие о корректирующих кодах
- •3.2.1 Построение линейных кодов
- •3.2.2 Обнаружение и исправление ошибок. Декодирующее устройство
- •3.2.3 Примеры линейных кодов
- •3.3 Циклические коды
- •3.3.1 Выбор образующего многочлена
- •3.3.2 Базис циклического кода, формирование кодовых комбинаций
- •3.4 Синдром циклического кода и его свойства
- •3.5 Коды боуза - чоудхури - хоквингема
- •3.6 Коды Абрамсона
- •3.7 Коды Рида — Соломона
- •3.8 Понятие об итерактивных и каскадных кодах
- •3.9 Понятие о непрерывных кодах
- •3.9.1 Цепной код
- •3.9.2 Сверточные коды
- •4 Модели каналов связи
- •4.1 Непрерывный канал
- •Примеры непрерывных каналов:
- •На рис. 4.4 применены следующие обозначения:
- •4.2 Дискретный канал
- •Библиографический список
- •Оглавление
3.3 Циклические коды
Широкое распространение получил класс линейных кодов, которые называются циклическими. Название этих кодов происходит от их основного свойства: если кодовая комбинация а1, а2, ...an-1,anпринадлежит циклическому коду, то комбинацииan, а1а2, ...,an-1; аn-1,an,a1,...,an-2и т. д., полученные циклической перестановкой элементов, также принадлежат этому коду.
Общим свойством всех разрешенных кодовых комбинаций циклических кодов (как полиномов) является их делимость без остатка на некоторый выбранный полином, называемый производящим. Синдромом ошибки в этих кодах является наличие остатка от деления принятой кодовой комбинации на этот полином. Описание циклических кодов и их построение обычно проводят с помощью многочленов (полиномов). Цифры двоичного кода можно рассматривать как коэффициенты многочлена переменной x.
Поскольку любое число в произвольной системе счисления можно записать в виде
,
где x— основание системы счисления,an-1,…,a0— цифры этой системы, то переход от двоичного числа к записи в виде многочлена осуществляется следующим образом:
110111
4
+ 1
3+ 0
2
+ 1
+
1
0=
4
+
3+
+
1
Отсюда видно, что кодовая комбинация длиной и (n=5) описывается многочленом степениn- 1. Однако запись кодовой комбинации в виде многочлена не всегда определяет длину кодовой комбинацииn. Например, приn= 5 многочленуx2+1 соответствует кодовая комбинация 00101. Поэтому при переходе к записи в виде кодовой комбинации необходимо дописывать нулевые старшие разряды.
Кодовые комбинации циклического кода описываются полиномами, обладающими определенными свойствами. Последние определяются свойствами и операциями той алгебраической системы, к которой принадлежит множество полиномов. В частности, в этой алгебраической системе, которая носит название поля Галуа (GF(x)), действие над коэффициентами полиномов (сложение, умножение) производится по модулю 2. Умножение полиномов должно производиться по модулю некоторого полиномаPr(x). Эти два условия определяют замкнутость указанных операций: их применение не приводит к кодовым комбинациям, длина которых больше длины заданного кода п.
Пусть n= 5. Сложим два полинома:
и
.
Получим
![]()
Таким образом, степень полученного полинома P3(x) не превышаетn=5.
Умножение полиномов производится по модулю Pr(x). Это означает, что в качестве результата умножения принимается остаток от деления обычного произведения полиномов па полиномPr(x).
Напомним, что умножение чисел по модулю qсводится к тому, что обычное произведение этих чисел делится наqи записывается остаток. Например, 24 = 3 (mod5), т. е. 24 = 8; 8:5 имеет в остатке 3. Это число и является результатом умножения по модулю 5.
Указанная операция над многочленами не приводит к появлению полинома с большей степенью, чем заданная длина кода.
Рассмотрим код с n=5. ВозьмемP1(x)=x4+x+1 и Р2(x)=x4. Произведем обычное умножение полиномов:
.
Полином P3(x), имея степеньn=8, не принадлежит коду сn=5. Рассмотрим умножение по модулюPr(x). При этом полиномPr(x) должен иметь степеньr<n. ВыберемPr(x)=х3+х2+1. НаходимP1(x)P2(x) [modPr(x)]=P1(x)P2(x):Pr(x), т. е.

Таким образом, x2+x=R(x). Полученный остатокR(x)=х2+х и является результатом произведения полиномов P1(x),P2(x) по модулюP3(x). Он именуется вычетом по многочленуP3(x).
Для того чтобы полиномы, отображающие кодовые комбинации циклического кода, имели нужные свойства, необходимо выполнение двух условий:
1) полиномы Pr(x) должны быть неприводимыми, т. е. не делиться ни на какой другой полином;
2) двучлен вида xn+1 должен делиться наPr(x) без остатка (имеется в виду обычная операция деления).
Такие полиномы в циклических кодах играют роль порождающих (производящих, образующих)полиномов; с их помощью строится заданный циклический код.
Поскольку неприводимый многочлен не может быть представлен в виде произведения многочленов более низших степеней, то проверить это можно простой подстановкой в него корней x=1,x=0. Например, имеемP3(x)=x3+х+1. ЕслиP3(x) можно разложить па множители, то это означает, что уравнениеx3+x+1=0 имеет корниxi=0; 1. Прямой подстановкой этих корней можно убедиться, что в обоих случаяхP3(x)=l, т. е. этот полипом неприводим.Существенно, что степень образующего многочлена Pr(x) r совпадает с числом проверочных разрядов (n, k) циклического кода.
В циклических кодах разрешенными кодовыми комбинациями являются те, которые имеют нулевой вычет по модулю Pr(x), т. е. делятся на образующий полином без остатка. Из всех возможных полиномов степениn(2n) только 2kполиномов (k=n-г) имеют нулевой вычет по модулюPr(x). Они и образуют множество разрешенных кодовых комбинаций циклического кода.
Циклические коды являются блочными, равномерными и линейными.Линейность кодов вытекает из того, что если кодовые слова принадлежат циклическому коду, то их линейная комбинация будет также принадлежать циклическому коду, т. е. обязательно делиться без остатка на образующий полином.
По сравнению с обычными линейными кодами (см. разд. 3.2) на разрешенные кодовые комбинации циклического кода накладывается дополнительное ограничение: делимость без остатка на порождающий полином. Это свойство существенно упрощает аппаратурную реализацию кода.
Обнаружение ошибок в циклическом коде производится делением принятой кодовой комбинации на кодовую комбинацию образующего полинома (вид его должен быть известен на приеме). Остаток от деления R(x) играет роль синдрома. ЕслиR(x)0, то считается, что произошли ошибки. ЕслиR(x)=0, то комбинация принята правильно.
Возможность исправления одиночной ошибки связана с выбором образующего полинома Pr(x). Точно так же, как и в обычных линейных кодах, вид синдрома в циклических кодах зависит от места, где произошла ошибка. В данном случае в качестве синдромов рассматриваются различные остаткиR(x) от деления полинома ошибки на образующий полипомPr(x). Среди множества полиномовPr(x) существуют так называемыепримитивные полиномы, для которых существует зависимостьn=2r-1.Это означает, что при возникновении ошибки в одном изnразрядов кодовой комбинации число различных остатков также будет равноn. Например, образующий полиномP4(1)(x)=x4+x+lдаетn=15 различных остатков, а образующий полиномP4(2)(x)=x4+x3+x2+x+1 только пять различных остатков. Поэтому полиномP4(1)(x) может использоваться для построения циклического кода (15,11) с исправлением одной ошибки (приn=2n-1; 15=24-1), а полиномP4(2)(x) приn=15 только для обнаружения ошибок. (Предлагается самостоятельно проверить свойства указанных полиномов путем деления многочленов ошибки Е(x)=х15,x14, ... наP4(1)(x) иP4(2)(x), подсчитывая число различных остатков.)
Признаком примитивных полиномов является наличие остатка, равного единице, только для полиномов x0=1 иxn, т. е. число различных остатков равноn-1.
