
- •Лекции по Теории информации
- •Введение
- •1. Понятие информации. Задачи и постулаты прикладной теории информации
- •1.1 Что такое информация
- •1.2 Этапы обращения информации
- •1.3 Информационные системы
- •1.4 Система передачи информации
- •1.5 Задачи и постулаты прикладной теории информации
- •2. Количественная оценка информации
- •2.1 Свойства энтропии
- •2.2 Энтропия при непрерывном сообщении
- •2.3 Условная энтропия
- •2.4 Взаимная энтропия
- •2.5 Избыточность сообщений
- •3. Эффективное кодирование
- •4. Кодирование информации для канала с помехами
- •4.1 Разновидности помехоустойчивых кодов
- •4.2 Общие принципы использования избыточности
- •4.3 Связь корректирующей способности кода с кодовым расстоянием
- •000, 011, 101, 110 – Разрешенные комбинации;
- •001, 010, 100, 111 – Запрещенные комбинации.
- •4.4 Понятие качества корректирующего кода
- •4.5 Линейные коды
- •4.6 Математическое введение к линейным кодам
- •В результате применения операции к любым двум элементам группы образуется элемент этой же группы (требование замкнутости).
- •4.7 Линейный код как пространство линейного векторного пространства
- •4.8 Построение двоичного группового кода
- •4.8.1 Составление таблицы опознавателей
- •4.8.2 Определение проверочных равенств
- •4.8.3 Мажоритарное декодирование групповых кодов
- •4.8.4 Матричное представление линейных кодов
- •4.8.5 Технические средства кодирования и декодирования для групповых кодов
- •4.9 Построение циклических кодов
- •4.9.1 Общие понятия и определения
- •4.9.2 Математическое введение к циклическим кодам
- •4.9.3 Требования, предъявляемые к образующему многочлену
- •4.10 Выбор образующего многочлена по заданному объему кода и заданной корректирующей способности
- •4.10.1 Обнаружение одиночных ошибок
- •4.10.2 Исправление одиночных или обнаружение двойных ошибок
- •4.10.3 Обнаружение ошибок кратности три и ниже
- •4.10.4 Обнаружение и исправление независимых ошибок произвольной кратности
- •4.10.5 Обнаружение и исправление пачек ошибок
- •4.10.6 Методы образования циклического кода
- •4.10.7 Матричная запись циклического кода
- •4.10.8 Укороченные циклические коды
- •4.11 Технические средства кодирования и декодирования для циклических кодов
- •4.11.1 Линейные переключательные схемы
- •4.11.2 Кодирующие устройства
- •4.11.3 Декодирующие устройства
4.4 Понятие качества корректирующего кода
Одной из основных характеристик корректирующего кода является избыточность кода, указывающая степень удлинения кодовой комбинации для достижения определенной корректирующей способности.
Если на каждые m символов выходной последовательности кодера канала приходится k информационных и (m-k) проверочных, то относительная избыточность кода может быть выражена одним из соотношений: Rm = (m-k)/m или Rk = (m-k)/k.
Величина Rk, изменяющаяся от 0 до ¥, предпочтительнее, так как лучше отвечает смыслу понятия избыточности. Коды, обеспечивающие заданную корректирующую способность при минимально возможной избыточности, называют оптимальными.
В связи с нахождением оптимальных кодов оценим, например, возможное наибольшее число Q разрешенных комбинаций m-значного двоичного кода, обладающего способностью исправлять взаимно независимые ошибки кратности до s включительно. Это равносильно отысканию числа комбинаций, кодовое расстояние между которыми не менее d=2s+1.
Общее число различных исправляемых ошибок для каждой разрешающей комбинации составляет
,
где Cmi – число ошибок кратности i.
Каждая из таких ошибок должна приводить к запрещенной комбинации, относящейся к подмножеству данной разрешенной комбинации. Совместно с этой комбинацией подмножество включает комбинаций.
1+
Однозначное декодирование возможно только в том случае, когда названные подмножества не пересекаются. Так как общее число различных комбинаций m-значного двоичного кода составляет 2m, число разрешенных комбинаций не может превышать
Или
.
Эта верхняя оценка найдена Хэммингом. Для некоторых конкретных значений кодового расстояния d, соответствующие Q укажем в таблице:
Таблица 4.3.
-
d
Q
d
Q
1
5
2
…
...
3
…
...
4
...
Коды, для которых в приведенном соотношении достигается равенство, называют также плотноупакованными.
Однако не всегда целесообразно стремиться к использованию кодов, близких к оптимальным. Необходимо учитывать другой, не менее важный показатель качества корректирующего кода – сложность технической реализации процессов кодирования и декодирования.
Если информация должна передаваться по медленно действующей и дорогостоящей линии связи, а кодирующее и декодирующее устройства предполагается выполнить на высоконадежных и быстродействующих элементах, то сложность этих устройств не играет существенной роли. Решающим фактором в этом случае является повышение эффективности пользования линией связи, поэтому желательно применение корректирующих кодов с минимальной избыточностью.
Если же корректирующий код должен быть применен в системе, выполненной на элементах, надежность и быстродействие которых равны или близки надежности и быстродействию элементов кодирующей и декодирующей аппаратуры. Это возможно, например, для повышения достоверности воспроизведения информации с запоминающего устройства ЭВМ. Тогда критерием качества корректирующего кода является надежность системы в целом, то есть с учетом возможных искажений и отказов в устройствах кодирования и декодирования. В этом случае часто более целесообразны коды с большей избыточностью, но простые в технической реализации.