- •Министерство образования и науки Российской Федерации
- •Введение
- •1 Определение информации
- •2 Этапы обращения информации
- •3Измерение информации
- •4 Информационные системы
- •5 Проблемы передачи информации
- •6 Предмет теории информации
- •7 Структура книги
- •1 Количественная оценка информации источников
- •1.1 Дискретный источник
- •1.1.1 Определение меры оценки количества информации
- •1.1.2 Частная взаимная информация дискретных источников сообщений
- •1.1.3 Энтропия дискретного сообщения
- •1.1.4 Условная энтропия дискретных сообщений
- •1.1.5 Энтропия объединенного сообщения
- •1.1.6 Средняя взаимная информация дискретных источников сообщений
- •1.2 Непрерывный источник
- •1.2.1 Собственная информация и энтропия
- •1.2.2 Основные свойства дифференциальной энтропии непрерывного источника
- •1.2.3 Средняя взаимная информация непрерывных источников сообщений
- •1.2.4 Эпсилон-энтропия непрерывных источников сообщений
- •2 Кодирование сообщений источников
- •2.1 Модели дискретных источников сообщений
- •2.2.Общие принципы и основная теорема кодирования дискретных источников сообщений
- •Теорема (о средней длине кодового слова)
- •2.3 Методы эффективного кодирования
- •2.3.1 Метод кодирования источников ШеннонаФано
- •2.3.2 Метод кодирования источников Хаффмена
- •2.4 Предельная условная энтропия дискретных источников сообщений
- •2.5 Информативность непрерывных источников сообщений дискретного времени
- •2.6 Средняя взаимная информация непрерывных источников сообщений непрерывного времени
- •2.7 Квазиобратимое эффективное кодирование непрерывных источников
- •2.8 Эпсилон-энтропия Гауссовского вектора сообщений
- •2.9 Эпсилон - энтропия стационарного Гауссовского процесса дискретного времени
- •Теорема.
- •Помехоустойчивое кодирование
- •3.1.1 Методы повышения верности передачи информации
- •3.1.2 Понятие о корректирующих кодах
- •3.2.1 Построение линейных кодов
- •3.2.2 Обнаружение и исправление ошибок. Декодирующее устройство
- •3.2.3 Примеры линейных кодов
- •3.3 Циклические коды
- •3.3.1 Выбор образующего многочлена
- •3.3.2 Базис циклического кода, формирование кодовых комбинаций
- •3.4 Синдром циклического кода и его свойства
- •3.5 Коды боуза - чоудхури - хоквингема
- •3.6 Коды Абрамсона
- •3.7 Коды Рида — Соломона
- •3.8 Понятие об итерактивных и каскадных кодах
- •3.9 Понятие о непрерывных кодах
- •3.9.1 Цепной код
- •3.9.2 Сверточные коды
- •4 Модели каналов связи
- •4.1 Непрерывный канал
- •Примеры непрерывных каналов:
- •На рис. 4.4 применены следующие обозначения:
- •4.2 Дискретный канал
- •Библиографический список
- •Оглавление
3.2.3 Примеры линейных кодов
Рассмотрим простейший линейный код — код с одной проверкой на четность. Этот код независимо от длины кодовой комбинации содержит всего один проверочный элемент. Элемент выбирается таким, чтобы его сумма по модулю 2 со всеми информационными элементами равнялась нулю. При этом каждая кодовая комбинация содержит четное число единиц. Если в принятой кодовой комбинации окажется нечетное число единиц, то делается вывод о наличии в ней ошибок. Очевидно, что такой код обнаруживает любое нечетное число ошибок.
Производящая и проверочная матрицы такого кода имеют вид:


.
Для такого кода отношение числа информационных элементов kк длине кодовой комбинацииn(скорость кода) определяется выражением
Rk = (n—l)/n,
кодовое расстояние равно двум, а вероятность необнаруженной ошибки
,
где суммирование осуществляется по всем четным значениям t.
Рассмотрим еще один пример линейных кодов — коды Хэмминга. К ним обычно относят коды с d0=3, исправляющие все одиночные ошибки и коды сd0=4, исправляющие все одиночные и обнаруживающие все двойные ошибки. Для исправления всех одиночных ошибок число синдромов должно бытьn+1. Из нихnсиндромов используются для указания местоположения ошибки и один — нулевой, соответствует их отсутствию. Следовательно, 2rn+1, гдеr– число проверочных элементов. Последнее выражение можно переписать в виде
2k2n/(n+1). (3.12)
В этом выражении k– число информационных элементов;
n– общее число элементов в кодовой комбинации.
Используя (3.12), можно подобрать при известном kтребуемое числоn.
Пример 3.7. Пустьk= 3. Требуется найти с помощью (3.12) значениеn.
Задавая значения n=4, 5, 6, приn=5 получим 2n/(п+1) =5,3, т. е. 23>5,3, а приn= 6 – 2/n+1=9,1. Так как 23<9,1, то выбираемn= 6. Такой код может быть задан производящей матрицей или проверочной.
Рассмотрим далее код Хэмминга с d0= 4. Операция кодирования для такого кода может выполняться в два этапа. На первом этапе определяется кодовая комбинация с использованием матрицы Н, соответствующей коду сd0=3, на втором добавляется один проверочный символ, представляющий собой результат суммирования по модулю 2 всех элементов кодового слова, полученного на первом этапе.
Операция декодирования также состоит из двух этапов. На первом — вычисляется синдром, соответствующий коду с d0= 3, на втором — проверяется последнее проверочное соотношение.
Пример 3.8.На основе кода (6,3), заданного проверочной матрицей (3.8), построить код Хэмминга сd0= 4.
Проверочная матрица такого кода будет иметь вид:

Такой код имеет дополнительное проверочное соотношение
![]()
и дополнительный элемент синдрома
.
Если синдром b1b2b3не равен нулю, аb4= 0, то это говорит о том, что произошла ошибка. Еслиb1b2b3не равен пулю иb40, то это является признаком того, что была однократная ошибка. При равенстве нулю синдромаb1b2b3иb40 имеет место ошибка нечетной кратностиt3.
К линейным кодам относится также код с простым повторением, в основу которого положен метод повторения исходной кодовой комбинации. Декодирование осуществляется путем сравнения первой (информационной) и второй (проверочной) частей кода. При несовпадении этих частей комбинация бракуется. Скорость такого кода равна 1/2, а кодовое расстояние d0=2. Проверочная матрица записывается в виде Н=|IkIk|, гдеIk— единичная матрица. Такой код позволяет обнаружить все виды ошибок за исключением ошибок в «парных» элементах, т. е. элементах, стоящих на одних и тех же позициях в первой и второй комбинациях.
