
- •А.А. Кузьмин
- •1. Энтропия вероятностной схемы
- •1.1.Основные принципы, понятия и определения теории информации
- •1.2.Количество информации в сообщении
- •Энтропия источника сообщений
- •1.3.Условная энтропия
- •Взаимная информация и взаимная энтропия
- •1.7. Скорость создания информации дискретным источником без памяти
- •2. Элементы теории кодирования информации
- •Основные характеристики кодов
- •1.4.Теоремы кодирования Шеннона
- •Скорость передачи информации по каналу связи определяется количеством передаваемой информации и интервалом времени ее передачи:
- •Таким образом, для реализации помехоустойчивого кодирования в канале связи с помехами, способного обеспечить сколь угодно высокую степень верности, необходимо выполнение условия
- •Контрольные вопросы
- •3. Простые (безызбыточные) коды
- •3.4. Примеры неравномерных кодов
- •Построение кодового дерева Шеннона-Фано
- •Общие принципы построения помехоустойчивых кодов
- •Классификация помехоустойчивых кодов
- •Основные характеристики и корректирующие свойства блочных кодов
- •Линейные блочные коды с обобщенными проверками на четность
- •Формирование (n, k) кода с обобщенной проверкой на четность
- •Структурные схемы кодеров и декодеров линейного кода
- •Принцип построения циклического кода
- •Алгоритм декодирования циклических кодов
- •Структурная схема кодера циклического кода
- •Бчх коды
- •Рекуррентные коды. Кодирование с перемежением
- •Принцип построения рекуррентных (сверточных) кодов
- •Декодирование сверточных кодов
- •6. Пропускная способность каналов связи
- •Пропускная способность непрерывного канала связи
- •Пути повышения пропускной способности непрерывных каналов связи
- •1.5.Пропускная способность дискретного канала связи без помех
- •Контрольные вопросы
- •Элементы теории кодирования информации
- •Простые (безызбыточные) коды
- •Помехоустойчивые блочные коды
- •5. Рекуррентные коды. Кодирование с перемежением
- •6. Пропускная способность каналов связи
- •. Пропускная способность дискретного канала связи без помех 98
- •Основы теории информации
Основные характеристики кодов
К основным характеристикам двоичных кодов относятся длина кода n и основание кода т.
В зависимости от длины кодовых комбинаций различают равномерные и неравномерные коды. Равномерные коды имеют одинаковую длину кодовых комбинаций. Примером такого кода является пятизначный код Бодо, который содержит пять двоичных элементов (т = 2, п = 5). Число возможных кодовых комбинаций в этом коде равно 25 = 32, что позволяет кодировать все буквы русского алфавита (твердый знак не передают). Однако этого мало для передачи сообщения на русском языке, содержащего буквы, цифры, знаки препинания и условные знаки (точка, запятая, двоеточие, сложение, вычитание, умножение и т. д.). Поэтому применяют международный телеграфный код № 2 (МТК-2). В коде МТК-2 используется регистровый принцип, согласно которому одна и та же пятиэлементная кодовая комбинация может использоваться до трех раз в зависимости от положения регистра: русский, латинский, цифровой. Общее число различных знаков при этом равно 84, что достаточно для кодирования телеграммы.
Для передачи по каналам связи данных рекомендован семиэлементный код МТК-5. Коды МТК-2 и МТК-5 являются первичными (простыми). Применение равномерных кодов упрощает построение буквопечатающих устройств и не требует передачи разделительных символов между кодовыми комбинациями.
Неравномерные коды отличаются тем, что кодовые комбинации у них отличаются друг от друга не только взаимным расположением символов, но и их количеством при минимизации средней длины кодовой последовательности. Это приводит к тому, что различные комбинации имеют различную длительность.
Наиболее известным неравномерным кодом является код Морзе, в котором символы 1 и 0 используются в двух сочетаниях — как одиночные (1 и 0) или как тройные (111 и 000). Сигнал, отражающий одну единицу, соответствует точке, три единицы – тире. Символ 0 используется как знак, отделяющий точку от тире, точку от точки и тире от тире. Совокупность 000 используется как разделительный знак между кодовыми комбинациями. Заметим, что код Морзе – это кодирование не с двоичным входным алфавитом (точка и тире), как кажется на первый взгляд, а с троичным алфавитом: точка, тире и пробел.
Мощность кода Nр – это число кодовых комбинаций (рабочих слов), используемых для передачи сообщений.
Полное
число кодовых комбинаций N
– это число всех возможных комбинаций
(для двоичного кода N
= 2n).
Для любых кодов выполняется условие
.
Число информационных символов k – это количество символов, предназначенных для передачи сообщения. Очевидно, что Nр = 2k.
Число проверочных символов r – это количество разрядов кодовой комбинации, необходимых для коррекции ошибок. Число r характеризует абсолютную избыточность кода. Под избыточностью Rи в теории кодирования понимают относительную избыточность: отношения числа проверочных символов к длине кода Rи = r/n; Rи = 1 – (log Np / log N).
Скорость передачи кодовых комбинаций – это отношение числа информационных символов к длине кода: R = k/n = k / (k + r).
Задача. Определить избыточность и скорость передачи кода, предназначенного для передачи 16 сообщений, если длина кода n = 5.
Решение. Полное количество комбинаций 2n = 25 = 32.
Потребное количество символов k = log Np = log 16 = 4.
Скорость передачи R = k/n = 0,8.
Избыточность Rи = 1 – R = 1 – 0,8 = 0,2.
Вес кодовой комбинации – это количество единиц в кодовой комбинации. Например, для кодовой комбинации 1001100101 = 5.
Расстояние Хэмминга α отображает степень различия двух любых комбинаций кода одинаковой длины и определяется как вес суммы по модулю 2 кодовых комбинаций. Рассмотрим сумму двух кодовых слов:
10010111
00100110 = 10110001. Отсюда
= 4, расстояние Хэмминга
= 4.
Минимальное расстояние Хэмминга называется кодовым расстоянием.
Вероятность необнаружения ошибок Рн.о – это вероятность такого события, при котором принятая кодовая комбинация отличается от переданной, а свойства данного кода не позволяют определить факт наличия ошибки.
Код, который среди всех кодов длины n и избыточности r обеспечивает наименьшую вероятность необнаружения ошибки, называется оптимальным.
По признаку помехозащищенности коды, как и методы кодирования, делят на примитивные (первичные, простые, безызбыточные) и помехоустойчивые (корректирующие, избыточные).
Коды, у которых все возможные кодовые комбинации используются для передачи информации, называются примитивными, или кодами без избыточности. В простых равномерных кодах превращение одного символа комбинации в другой, например 0 в 1 или 1 в 0, приводит к появлению новой разрешенной комбинации, т. е. к ошибке в принятом сообщении.
В помехоустойчивых кодах для передачи сообщения используются не все кодовые комбинации, а только некоторая их часть (разрешенные кодовые комбинации). Тем самым создается возможность обнаружения и исправления ошибки при неправильном воспроизведении некоторого числа символов. Корректирующие свойства кодов обеспечиваются введением в кодовые комбинации дополнительных (избыточных) символов.
Помехоустойчивое кодирование используется в различных системах связи, при передаче данных и хранении в компьютерных сетях, в бытовой и профессиональной видео- и аудиотехнике, использующей цифровую запись.
Среди методов кодирования отметим экономное кодирование, или сжатие данных. Экономное кодирование предполагает использование минимального количества кодовых символов для формирования сообщений. Отличительное свойство экономного кодирования состоит в том, что избыточность источника, образованного кодером, меньше, чем избыточность источника на входе кодера. Экономное кодирование применяется в компьютерах для архивации информации (при использовании программ архивации), в системах передачи видео информации, обладающей большой избыточностью (например, при факсимильной связи).