- •Лекции по Теории информации
- •Введение
- •1. Понятие информации. Задачи и постулаты прикладной теории информации
- •1.1 Что такое информация
- •1.2 Этапы обращения информации
- •1.3 Информационные системы
- •1.4 Система передачи информации
- •1.5 Задачи и постулаты прикладной теории информации
- •2. Количественная оценка информации
- •2.1 Свойства энтропии
- •2.2 Энтропия при непрерывном сообщении
- •2.3 Условная энтропия
- •2.4 Взаимная энтропия
- •2.5 Избыточность сообщений
- •3. Эффективное кодирование
- •4. Кодирование информации для канала с помехами
- •4.1 Разновидности помехоустойчивых кодов
- •4.2 Общие принципы использования избыточности
- •4.3 Связь корректирующей способности кода с кодовым расстоянием
- •000, 011, 101, 110 – Разрешенные комбинации;
- •001, 010, 100, 111 – Запрещенные комбинации.
- •4.4 Понятие качества корректирующего кода
- •4.5 Линейные коды
- •4.6 Математическое введение к линейным кодам
- •В результате применения операции к любым двум элементам группы образуется элемент этой же группы (требование замкнутости).
- •4.7 Линейный код как пространство линейного векторного пространства
- •4.8 Построение двоичного группового кода
- •4.8.1 Составление таблицы опознавателей
- •4.8.2 Определение проверочных равенств
- •4.8.3 Мажоритарное декодирование групповых кодов
- •4.8.4 Матричное представление линейных кодов
- •4.8.5 Технические средства кодирования и декодирования для групповых кодов
- •4.9 Построение циклических кодов
- •4.9.1 Общие понятия и определения
- •4.9.2 Математическое введение к циклическим кодам
- •4.9.3 Требования, предъявляемые к образующему многочлену
- •4.10 Выбор образующего многочлена по заданному объему кода и заданной корректирующей способности
- •4.10.1 Обнаружение одиночных ошибок
- •4.10.2 Исправление одиночных или обнаружение двойных ошибок
- •4.10.3 Обнаружение ошибок кратности три и ниже
- •4.10.4 Обнаружение и исправление независимых ошибок произвольной кратности
- •4.10.5 Обнаружение и исправление пачек ошибок
- •4.10.6 Методы образования циклического кода
- •4.10.7 Матричная запись циклического кода
- •4.10.8 Укороченные циклические коды
- •4.11 Технические средства кодирования и декодирования для циклических кодов
- •4.11.1 Линейные переключательные схемы
- •4.11.2 Кодирующие устройства
- •4.11.3 Декодирующие устройства
4.9.3 Требования, предъявляемые к образующему многочлену
Согласно определению циклического кода все многочлены, соответствующие его кодовым комбинациям, должны делиться на g(x) без остатка. Для этого достаточно, чтобы на g(x) делились без остатка многочлены, составляющие образующую матрицу кода. Последние получаются циклическим сдвигом, что соответствует последовательному умножению g(x) на х с приведением по модулю xn + 1.
Следовательно, в общем случае многочлен gi(x) является остатком от деления произведения g(x)·хi на многочлен xn + 1 и может быть записан так:
gi(x)=g(x)xi + c(xn + 1)
где с =1, если степень g(x) хi превышает п-1; с = 0, если степень g(x) хi не превышает п-1.
Отсюда следует, что все многочлены матрицы, а поэтому и все многочлены кода будут делиться на g(x) без остатка только в том случае, если на g(x) будет делиться без остатка многочлен xn + 1.
Таким образом, чтобы g(x) мог породить идеал, а, следовательно, и циклический код, он должен быть делителем многочлена xn + 1.
Поскольку для кольца справедливы все свойства группы, а для идеала - все свойства подгруппы, кольцо можно разложить на смежные классы, называемые в этом случае классами вычетов по идеалу.
Первую строку разложения образует идеал, причем нулевой элемент располагается крайним слева. В качестве образующего первого класса вычетов можно выбрать любой многочлен, не принадлежащий идеалу. Остальные элементы данного класса вычетов образуются путем суммирования образующего многочлена с каждым многочленом идеала.
Если многочлен g(x) степени m = n-k является делителем xn + 1, то любой элемент кольца либо делится на g(x) без остатка (тогда он является элементом идеала), либо в результате деления появляется остаток r(х), представляющий собой многочлен степени не выше m-1.
Элементы кольца, дающие в остатке один и тот же многочлен ri(x), относятся к одному классу вычетов. Приняв многочлены r(х) за образующие элементы классов вычетов, разложение кольца по идеалу с образующим многочленом g(x) степени m можно представить табл. 4.12, где f(x)-произвольный многочлен степени не выше n-m-1.
Таблица 4.12.
0 |
g(x) |
x·g(x) |
(x+1)·g(x) |
… |
f(x)·g(x) |
r1(x) r2(x) … … rn(x) |
g(x) + r1(x) g(x) + r2(x) … … g(x) + rn(x) |
x·g(x) + r1(x) x·g(x) + r2(x) … … x·g(x) + rn(x) |
(x+1)·g(x) + r1(x) (x+1)·g(x) + r2(x) … … (x+1)·g(x) + rn(x) |
… … … … … |
f(x)·g(x) + r1(x) f(x)·g(x) + r2(x) … … f(x)·g(x) + rn(x) |
Как отмечалось, групповой код способен исправить столько разновидностей ошибок, сколько различных классов насчитывается в приведенном разложении. Следовательно, корректирующая способность циклического кода будет тем выше, чем больше остатков может быть образовано при делении многочлена, соответствующего искаженной кодовой комбинации, на образующий многочлен кода.
Наибольшее число остатков, равное 2m - 1 (исключая нулевой), может обеспечить только неприводимый (простой) многочлен, который делится сам на себя и не делится ни на какой другой многочлен (кроме 1).