- •Министерство образования и науки Российской Федерации
- •Введение
- •1 Определение информации
- •2 Этапы обращения информации
- •3Измерение информации
- •4 Информационные системы
- •5 Проблемы передачи информации
- •6 Предмет теории информации
- •7 Структура книги
- •1 Количественная оценка информации источников
- •1.1 Дискретный источник
- •1.1.1 Определение меры оценки количества информации
- •1.1.2 Частная взаимная информация дискретных источников сообщений
- •1.1.3 Энтропия дискретного сообщения
- •1.1.4 Условная энтропия дискретных сообщений
- •1.1.5 Энтропия объединенного сообщения
- •1.1.6 Средняя взаимная информация дискретных источников сообщений
- •1.2 Непрерывный источник
- •1.2.1 Собственная информация и энтропия
- •1.2.2 Основные свойства дифференциальной энтропии непрерывного источника
- •1.2.3 Средняя взаимная информация непрерывных источников сообщений
- •1.2.4 Эпсилон-энтропия непрерывных источников сообщений
- •2 Кодирование сообщений источников
- •2.1 Модели дискретных источников сообщений
- •2.2.Общие принципы и основная теорема кодирования дискретных источников сообщений
- •Теорема (о средней длине кодового слова)
- •2.3 Методы эффективного кодирования
- •2.3.1 Метод кодирования источников ШеннонаФано
- •2.3.2 Метод кодирования источников Хаффмена
- •2.4 Предельная условная энтропия дискретных источников сообщений
- •2.5 Информативность непрерывных источников сообщений дискретного времени
- •2.6 Средняя взаимная информация непрерывных источников сообщений непрерывного времени
- •2.7 Квазиобратимое эффективное кодирование непрерывных источников
- •2.8 Эпсилон-энтропия Гауссовского вектора сообщений
- •2.9 Эпсилон - энтропия стационарного Гауссовского процесса дискретного времени
- •Теорема.
- •Помехоустойчивое кодирование
- •3.1.1 Методы повышения верности передачи информации
- •3.1.2 Понятие о корректирующих кодах
- •3.2.1 Построение линейных кодов
- •3.2.2 Обнаружение и исправление ошибок. Декодирующее устройство
- •3.2.3 Примеры линейных кодов
- •3.3 Циклические коды
- •3.3.1 Выбор образующего многочлена
- •3.3.2 Базис циклического кода, формирование кодовых комбинаций
- •3.4 Синдром циклического кода и его свойства
- •3.5 Коды боуза - чоудхури - хоквингема
- •3.6 Коды Абрамсона
- •3.7 Коды Рида — Соломона
- •3.8 Понятие об итерактивных и каскадных кодах
- •3.9 Понятие о непрерывных кодах
- •3.9.1 Цепной код
- •3.9.2 Сверточные коды
- •4 Модели каналов связи
- •4.1 Непрерывный канал
- •Примеры непрерывных каналов:
- •На рис. 4.4 применены следующие обозначения:
- •4.2 Дискретный канал
- •Библиографический список
- •Оглавление
3.1.2 Понятие о корректирующих кодах
Код, способный обнаруживать или исправлять ошибки, называется корректирующим. Каждому символу исходного алфавита сообщений объема NАпоставим в соответствиеn-элементную двоичную последовательность (кодовую комбинацию). Возможное (общее) число последовательностей длины n равно N0= 2n. Для обнаружения (исправления) на приеме ошибок должно соблюдаться условие NА< N0.
Если NA=N0, то все возможные последовательностиn-элементного кода используются для передачи, или, как говорят, являются разрешенными. Полученный таким образом код называется простым, т. е. неспособным обнаруживать (исправлять) ошибки.
Пример 3.1.Для передачи сообщений, число которых равно 8 (NA= 8), используется трехэлементный код. Число комбинаций, которое можно при этом получить, N0= 23=8. Комбинации, образуемые трехэлементным кодом, представлены в табл. 3.1.
Таблица 3.1 Комбинации, образуемые равномерным трёхэлементным кодом
|
Номер комбинации |
0 |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
|
Вид комбинации |
000 |
001 |
010 |
011 |
100 |
101 |
110 |
111 |
Отсюда видно, что комбинация № 0 отличается от комбинации № 1 только в одной позиции. Следовательно, если при передаче комбинации 000 произойдет ошибка в третьем элементе, то получим комбинацию 001 — комбинацию № 1, т. е. произойдет ошибка, которую невозможно ни исправить, ни обнаружить.
Степень различия комбинаций характеризуется расстоянием Хемминга. Расстояние Хэмминга для любых двух кодовых комбинаций определяется числом несовпадающих в них разрядов. Например, две написанные ниже друг под другом комбинации не совпадают в двух разрядах.

Поэтому хэммингово расстояние d=2. Иначе, расстояние Хемминга определяют как вес суммы по модулю 2(— условное обозначение суммы) этих кодовых комбинаций.Весом Wкодовой комбинацииназывается число входящих в нее ненулевых элементов.
Перебрав все возможные пары кодовых комбинаций, можно найти минимальное значение d, которое будем обозначать в дальнейшем d0и называть кодовым расстоянием. Для примера 3.1 d0= 1. Рассмотренный в примере код является простым. Любая ошибка (даже одиночная!) при использовании такого кода приведет к тому, что переданная разрешенная кодовая комбинация перейдет в другую разрешенную кодовую комбинацию. Таким образом, простой код не способен обнаруживать и тем более исправлять ошибки и имеет d0= 1.
Для того чтобы код мог обнаружить ошибки, необходимо соблюдение неравенства NA=N0. При этом неиспользуемыеn-элементные кодовые комбинации, число которых (N0- NA), будем называть запрещёнными. Они определяют избыточность кода. Очевидно, чтопоявление ошибки в кодовой комбинации будет обнаружено, если переданная разрешенная комбинация перейдет в одну из запрещенных. В качестве NАразрешенных кодовых комбинаций надо выбирать такие, которые максимально отличаются друг от друга.
Пример 3.2.Алфавит передаваемых сообщений NA= 2. Выберем из числа комбинаций, представленных в табл. 3.1, две. Очевидно, что ими должны быть комбинации 000, 111 или 001 и 110 и т. д. Кодовое расстояние do=3. Ошибки кратности один или два превращают любую кодовую комбинацию в запрещенную. Следовательно, максимальная кратность обнаруживаемых таким кодом ошибок равна двум (tо.ош =2).
Рассматривая коды с кодовым расстоянием d0= 4, d0= 5 и т. д., можно прийти к выводу, что tо.ош= d0 — 1.
Исправление ошибоквозможно также только в том случае, если переданная разрешенная кодовая комбинация переходит в запрещенную. Вывод о том, какая кодовая комбинация передавалась, делается на основании сравнения принятой запрещенной комбинации со всеми разрешенными.Принятая комбинация отождествляется с той из разрешенных, на которую она больше всего «похожа», т. е. с той, от которой она отличается меньшим числом элементов. Так, если в примере 3.2 при передаче кодовой комбинации 000 получим 001, то вынесем решение, что передавалась комбинация 000.
Связь между d0 и кратностью исправляемых ошибок определяется выражением
tи.ош= d0 /2—1 для четного d0 и tи.ош= (d0 – 1)/2 для нечетного d0.
Итак, задача получения кода с заданной корректирующей способностью может быть сведена к задаче выбора (путем перебора) из N0= 2nкодовых комбинаций NA, комбинаций с требуемым минимальным кодовым расстоянием d0. Еслиnдостаточно мало, то такой перебор не представляет особого труда. Но при большихnперебор может занимать значительное время. Поэтому па практике получили распространение методы построения кодов, не требующие перебора с целью получения кода с заданным d0и отличающиеся приемлемой сложностью реализации.
Помехоустойчивые(корректирующие)кодыделятся наблочные и непрерывные. К блочным относятся коды, в которых каждому символу алфавита сообщений соответствует блок (кодовая комбинация) изn(i) элементов, где i — номер сообщения. Если n(i)=n, т. е. длина блока постоянна и не зависит от номера сообщения, то код называетсяравномерным. Такие коды нашли наибольшее применение на практике. Если длина блока зависит от номера сообщения, то блочный код называетсянеравномерным. В непрерывных кодах передаваемая информационная последовательность не разделяется на блоки, а проверочные элементы размещаются в определенном порядке между информационными (проверочные элементы в отличие от информационных, относящихся к исходной последовательности, служат для обнаружения и исправления ошибок и формируются по определенным правилам).
Равномерные блочные коды делятся на разделимые и неразделимые. В разделимых кодах элементы разделяются на информационные и проверочные, занимающие определенные места в кодовой комбинации. В неразделимых кодах отсутствует деление элементов кодовых комбинаций на информационные и проверочные. К таким кодам относятся коды с постоянным весом, например, рекомендованный Международным Консультативным Комитетом по телефонии и телеграфии (МККТТ) семиэлементный телеграфный код № 3 с весом каждой кодовой комбинации, равным трем.
Полезный эффект от применения
корректирующих кодов заключается в
повы-шении верности. Вероятность
неправильного приема кодовой комбинации
простого кода определяется как вероятность
появления в кодовой комбинации хотя бы
одной ошибки Рn(t
1).
В случае независимых ошибок
= 1 — (1—рош)k,
где рош— вероятность неправильного
приема единичного элемента, а k — число
элементов в комбинации простого кода
(число информационных элементов). При
использовании систематических
корректирующих кодов к исходной
комбинации добавляются проверочные
элементы, позволяющие исправлять или
обнаруживать ошибки. Так, если код
используется в режиме исправления
ошибок и кратность исправляемых ошибокtи.ош, то
.
В результате применения корректирующего кода в режиме исправления ошибок вероятность ошибочного декодирования уменьшается в kираз:
.
Однако это достигается за счет увеличения
затрат на реализацию системы и снижения
скорости передачи информации. Если в
системе, использующей простой код,
скорость равна
бит/с, то в системе, использующей
корректирующий код с исправлением
ошибок, скорость
,
где k/n — коэффициент, характеризующий
потери скорости вследствие введенной
в код избыточности и называемый иногда
скоростью кода. Чем больше избыточность
(меньше k/n), тем меньше скорость передачи
информации, т. е. тем меньше в единицу
времени передается полезной информации.
Кодирование будет экономически оправданно, если стоимость S1устранения ошибки в единичном элементе (бите) с помощью исправления ошибок меньше стоимости потерь (S2), вызнанных искажением единичного элемента при передаче. Величина S2может колебаться в очень больших пределах. Стоимость устранения ошибки в единичном элементе определяется выражением
(3.1)
где SИ— стоимость системы исправления ошибок;
SДОП— дополнительные затраты на аренду канала, обусловленные передачей по каналу проверочных элементов;
Т — время жизни системы исправления ошибок;
RИ— скорость передачи информации, бит/с;
—
вероятность ошибки на элемент;
—
коэффициент, характеризующий уменьшение
вероятности шибки на элемент за счет
исправления ошибок (
).
Очевидно, что в (3.1)
определяет
число ошибочных элементов, выданных
получателю за время жизни системы, а
— эквивалентную вероятность ошибки
после исправления. Экономическая
эффективность за счет исправления
ошибокS = S2—S1.
Исправление ошибок имеет смысл приS0.
Качество реальных каналов во времени меняется, и если заданы требования на верность передачи, то требуется вводить такую избыточность, которая обеспечивала бы заданную верность даже при самом плохом качестве канала. Напрашивается мысль о целесообразности изменения избыточности, вводимой в кодовую комбинацию по мере изменения характеристик канала связи. Системы, в которых меняется избыточность с изменением качества канала, относятся к числу адаптивных. Одним из типов адаптивных систем являются системы с обратной связью. В этих системах между приемником и передатчиком помимо основного (прямого) канала имеется вспомогательный (обратный) канал.
Следует заметить, что системы без обратной связи используются обычно тогда, когда нельзя организовать обратный канал или когда предъявляются весьма жесткие требования ко времени задержки сообщения. Временем задержки кодовой комбинации называется время от момента выдачи ее первого элемента источником сообщений до момента получения последнего элемента комбинации получателем сообщений.
Линейные коды
