- •Министерство образования и науки Российской Федерации
- •Введение
- •1 Определение информации
- •2 Этапы обращения информации
- •3Измерение информации
- •4 Информационные системы
- •5 Проблемы передачи информации
- •6 Предмет теории информации
- •7 Структура книги
- •1 Количественная оценка информации источников
- •1.1 Дискретный источник
- •1.1.1 Определение меры оценки количества информации
- •1.1.2 Частная взаимная информация дискретных источников сообщений
- •1.1.3 Энтропия дискретного сообщения
- •1.1.4 Условная энтропия дискретных сообщений
- •1.1.5 Энтропия объединенного сообщения
- •1.1.6 Средняя взаимная информация дискретных источников сообщений
- •1.2 Непрерывный источник
- •1.2.1 Собственная информация и энтропия
- •1.2.2 Основные свойства дифференциальной энтропии непрерывного источника
- •1.2.3 Средняя взаимная информация непрерывных источников сообщений
- •1.2.4 Эпсилон-энтропия непрерывных источников сообщений
- •2 Кодирование сообщений источников
- •2.1 Модели дискретных источников сообщений
- •2.2.Общие принципы и основная теорема кодирования дискретных источников сообщений
- •Теорема (о средней длине кодового слова)
- •2.3 Методы эффективного кодирования
- •2.3.1 Метод кодирования источников ШеннонаФано
- •2.3.2 Метод кодирования источников Хаффмена
- •2.4 Предельная условная энтропия дискретных источников сообщений
- •2.5 Информативность непрерывных источников сообщений дискретного времени
- •2.6 Средняя взаимная информация непрерывных источников сообщений непрерывного времени
- •2.7 Квазиобратимое эффективное кодирование непрерывных источников
- •2.8 Эпсилон-энтропия Гауссовского вектора сообщений
- •2.9 Эпсилон - энтропия стационарного Гауссовского процесса дискретного времени
- •Теорема.
- •Помехоустойчивое кодирование
- •3.1.1 Методы повышения верности передачи информации
- •3.1.2 Понятие о корректирующих кодах
- •3.2.1 Построение линейных кодов
- •3.2.2 Обнаружение и исправление ошибок. Декодирующее устройство
- •3.2.3 Примеры линейных кодов
- •3.3 Циклические коды
- •3.3.1 Выбор образующего многочлена
- •3.3.2 Базис циклического кода, формирование кодовых комбинаций
- •3.4 Синдром циклического кода и его свойства
- •3.5 Коды боуза - чоудхури - хоквингема
- •3.6 Коды Абрамсона
- •3.7 Коды Рида — Соломона
- •3.8 Понятие об итерактивных и каскадных кодах
- •3.9 Понятие о непрерывных кодах
- •3.9.1 Цепной код
- •3.9.2 Сверточные коды
- •4 Модели каналов связи
- •4.1 Непрерывный канал
- •Примеры непрерывных каналов:
- •На рис. 4.4 применены следующие обозначения:
- •4.2 Дискретный канал
- •Библиографический список
- •Оглавление
3.6 Коды Абрамсона
В [7] отмечено, что коды Файра образуют наиболее известный класс кодов, исправляющих пачки ошибок. Эти коды пригодны для целой области длин пачек ошибок и длин самих кодов. Известны коды, требующие меньшее число проверочных символов, чем коды Файра. К ним относятся коды Абрамсона [8]. Длина кодовой комбинации кодов Абрамсона п = 2h - 1, гдеh— степень неприводимого многочленаP1 (х).
Образующий полином Р(x) = (1+х)Р1 (х). Число информационных символов
k= 2h—h— 2.
Эти выражения справедливы для минимального кодового расстояния dMHH= 4, что позволяет корректировать все одиночные и все смежные двойные ошибки.
Кроме того, Абрамсоном был найден класс кодов, позволяющих исправлять пачки ошибок длиной b= 3 и менее (одиночные, двойные смежные и тройные смежные). В этом случае, если длина кодаn— наибольшее целое число, удовлетворяющее неравенству 2n-k>= 1 + 4n, то образующий полином представляется в виде произведения двух многочленов:
Р (x) = (1+х + х2)Р2(х),
где Р2(х) — неприводимый многочлен четной степени, превышающей два (четы-ре, шесть, восемь и т. д.).
Образующие полиномы кодов Абрамсона, исправляющие три соседние ошибки и обладающие минимальной избыточностью имеют вид [6]:
(х2+ х + 1) (х4+ х +I); (х2+ х + 1) (x6+ х+1) (х2+ х + 1) (х6+ х5+ х2+ х + 1);
(х2+ х + 1) (x8+ х7+ у2+ х + 1); (х2+ х + 1) (х8+ х5+ х3+ х + 1).
При выполнении определенных условий образующий полином вида Р(х) =P1 (х)Р2(х), где P1 (х) и Р2(х) — неприводимые многочлены, порождает циклические коды, исправляющие пачки ошибок. Число проверочных символов этих кодовr=m1+m2, где —m1 степень многочлена Р1(х);m2— степень многочлена Р2(х).
Такие коды получили название кодов Миласа — Абрамсона.
3.7 Коды Рида — Соломона
При некоторых условиях циклические коды Рида—Соломона (PC) являются частным случаем кодов БЧХ [7]. КодыPCобладают огромной корректирующей способностью и позволяют исправлять несколько пачек ошибок.
Предположим, что задан корректирующий код с основанием m> 2, в комбинациях которого можно исправлять ошибки кратностиtи. Допустим, что каждому символу этого кода поставлена во взаимнооднозначное соответствие не-котораяn1 - значная двоичная комбинация. Тогда полученный таким образом двоичный код может исправлять пачки ошибок длинойb=n1(tи - 1)+1 и менее. Код с указанными свойствами образуется в том случае, если основаниеm= 2а, длина
n= а(2а - 1) и образующий полином
P(x)
= (x—
)
(x—
)
... (x-
),
(3.19)
где
— примитивный элемент поляGF
(2a).
Коды указанного типа носят название кодов Рида — Соломона. Из (3.19) степень многочлена Р(х) равнаd- 1. В результате получается код длиныn сd- 1 проверочными разрядами и минимальным расстояниемd.
То обстоятельство, что коды PCпри любой заданной скорости имеют наибольшее возможное минимальное расстояние, делает их привлекательными с точки зрения практического использования. В то же время структура этих кодов допускает относительно простую техническую реализацию, поэтому практическое применение не только желательно, но и возможно.
