- •Теория информации Учебное пособие
- •Введение
- •1. Информационные характеристики источников сообщений
- •Энтропия как мера неопределенности физической системы
- •1.2 Энтропия сложной системы
- •Сложение энтропии независимых систем
- •Условная энтропия
- •1.3. Количественные аспекты информации
- •1.4. Количество информации, как мера снятой неопределенности
- •1.5. Объем информации
- •1.6. Взаимная информация
- •Упражнения
- •Решение
- •Лабораторная работа Свойства энтропии
- •2. Неопределенность непрерывных случайных величин
- •2.1. Энтропия непрерывной случайной величины х
- •2.2. Количество информации для непрерывных систем
- •2.3. Принцип экстремума энтропии и экстремальные распределения
- •Подставим (2.9) в (2.6)
- •При взятии интеграла учтем, что имеется соответствующий табличный интеграл
- •Сравнительная оценка сообщений, передаваемых по нормальному закону и равновероятному закону распределений
- •2.4. Епсилон энтропия (ε-энтропия )
- •3. Передача информации по каналам связи
- •3.1. Источники сообщений
- •3.2. Избыточность информации
- •3.3. Передача информации по каналу связи. Пропускная способность канала
- •Матрица для нахождения условной вероятности
- •Матрица условных вероятностей имеет вид
- •3.4. Пропускная способность непрерывных каналов связи
- •Скорость передачи информации будет равняться
- •Тогда , (3.8) где p мощность сигнала, а n мощность помехи
- •3.5. Согласование скорости выдачи информации, выдаваемой источником, с пропускной способностью канала связи
- •3.6. Согласование оконечных устройств с каналами связи
- •Упражнения
- •Лабораторная работа
- •4. Кодирование информации
- •4.1. Префиксные коды
- •Коды 1,2,3 не обладают свойством префикса, а код 4 обладает.
- •4.2. Основные теоремы кодирования
- •4.3. Оптимальное кодирование
- •4.4. Код Шеннона – Фано
- •Средняя длина полученного кода будет равна
- •4.5. Блочное кодирование
- •4.6. Код Хаффмана
- •4.7. Совмещенный способ построения кода Хаффмана Совмещенный способ построения кода Хаффмана представляет объединение двух процессов: обычного алгоритма построения и метода дерева.
- •Лабораторная работа
- •5. Сжатие информации
- •5.1. Основные понятия
- •5.2. Методы сжатия без потерь
- •Кодирование длин серий (rle - кодирование)
- •Коды Фибоначчи
- •Методы энтропийного сжатия
- •Метод арифметического сжатия
- •Методы контекстного моделирования
- •Словарные методы сжатия
- •5.3. Методы сжатия с потерями
- •6. Помехоустойчивое кодирование
- •6.1 Коды с обнаружением ошибок
- •Код с проверкой на четность.
- •Код Грея записывается следующим образом
- •Обратный переход из кода Грея в двоичный код
- •6.2. Корректирующие коды
- •6.3. Код Хемминга
- •Проверяем ее
- •6.4. Техническая реализация кода Хэмминга
- •6.5 Циклические коды
- •Декодирование циклических кодов
- •Аппаратурная реализация циклических кодов.
- •Пусть на вход подается комбинация 1101001
- •Теперь пусть на вход подается комбинация с ошибкой 1100001
- •Упражнения
- •Лабораторная работа
- •Задание 2
- •Задание 3
- •Задание 4
- •Задание 5
- •Задание 7
- •Задание 8
- •Задание 9
- •Задание 10
- •Задание 11
- •Задание 12
- •Задание 13
- •Задание 14
- •Задание 15
- •Задание 16
- •Задание 17
- •Задание 18
- •Задание 19
- •Задание 20
- •Список литературы
- •Оглавление
6.4. Техническая реализация кода Хэмминга
Схемы кодирования и декодирования представлены на рис.6.4 и 6.5 соответственно. Устройство кодирования строится на регистре в n разрядов и r сумматоров “по модулю 2”. В ячейки 3, 5, 6, 7 вводятся исходные символы.
В следующем такте формируются проверочные разряды. Закодированная комбинация может быть передана в линию последовательно или параллельно.
0 1 2 3
4 5 6 7
Рис.6.4. Схема кодирования
Рис.6.5. Схема декодирования
6.5 Циклические коды
Циклическими кодами называют специальную группу кодов, для построения которых могут быть использованы циклические свойства квадратных матриц, а также коды, которые описываются неприводимыми, образующими (порождающими) многочленами (полиномами). Например, для кодовой комбинации 101101 полиномиальное представление таково:
A(X) = 1x5 + 0x4 + 1x3 + 1x2 + 0x1 + 1 = x5 + x3 + x2 + 1.
Циклические коды относятся к систематическим (n, k) кодам, в которых контрольные r и информационные k разряды расположены на строго определенных местах: n = k + r.
Рассмотрим алгебру циклических кодов. Допустим, необходимо перемножить три многочлена (x3+x2+1)·(x3+x+1)·(x+1). Действия производятся также как в обычной алгебре, только сложение проводится по модулю 2.
x3+x2+1 1101 * 1011
x3+x +1__ 1101
x3+x2+0+1 ___1101
x4+x3+0+x 1111111*11
x6+x5+0 +x3_______ _1111111__
x6+x5+x4+x3+x2+x+1 10000001 = x7+1
______________x+1
x6+x5+x4+x3+x2+x+1
x7+x6+x5+x4+x3+x2+x__
x7+0 + 0 +0 +0 +0 +0 +1=x7+1
При делении операция вычитания заменяется операцией сложения по модулю 2. Например, необходимо разделить многочлен седьмой степени на многочлен третей степени (x7+x5+x4+x+1) / ( x3+x2+1)
Операция деления может быть произведена или в виде многочленов или в виде двоичных кодов
x
7+
0+x5+x4+0+0+x+1
_x3+x2+1
_10110011 1101
x7+x6+0 +x4 x4+x3+1 1101 11001
x6+x5+ 0+ 0 1100
x6+x5+ 0+x 1101
x3+0+ x+1 1011
x3+x2+0+1 1101
x2+x 110
Схема деления реализуется на регистрах сдвига со встроенными сумматорами по модулю 2. Вид схемы определяется многочленом, на который производится деление. В процессе деления с помощью такого устройства находится остаток.
Пример 6.5. Построить схему деления на многочлен g(x)=x3+x+1 (1011)
1 x x3
1
2
3
Рис.6.6. Схема деления на многочлен g(x)=x3+x+1
Пусть на вход подается комбинация 10110001
В процессе алгебраического деления получается остаток 001
10110001
1011____
001
Процесс деления с помощью устройства показан в таблице 6.1.
Таблица 6.1
Вх |
1 |
2 |
3 |
1 0 1 1 0 0 0 1 |
1 0 1 0 0 0 0 1 |
0 1 0 0 0 0 0 0 |
0 0 1 0 0 0 0 0 |
Циклический код получают следующим образом: заданный многочлен h(х) сначала умножается на одночлен хn-k, затем делится на образующий многочлен g(х). В результате получим
(6.3)
или
F(x) = Q(x) · g(x) = xn-kh(x) + R(X) (6.4)
Таким образом, циклический код можно построить умножением кодовой комбинации h(х), являющейся заданной, на одночлен хn-k добавлением к этому произведению остатка R(х). При декодировании, принятую кодовую комбинацию необходимо разделить на g(x). Наличие остатка указывает на ошибку.
Образующий полином g(х) является сомножителем при разложении двучлена хn+1. Сомножителями разложения двучлена являются неприводимые полиномы (таблица 6.3).
Образующий полином выбирают следующим образом. По заданной кодовой комбинации k определяют число контрольных символов из соотношения r = log (n + 1) или по эмпирической формуле
r = [log{(k + 1) + [log(k + 1)]}] (6.5)
Соотношение значений n, k, r можно определить по таблице 5.2.
Таблица 6.2 зависимостей между n, k и r
n |
3 |
5 |
6 |
7 |
9…15 |
17…31 |
33…63 |
65…127 |
k |
1 |
2 |
3 |
4 |
5…11 |
12…26 |
27…57 |
28…120 |
r |
2 |
3 |
3 |
3 |
4 |
5 |
6 |
7 |
Из таблицы неприводимых полиномов (табл.5.3) выбирают самый короткий многочлен со степенью, равной числу контрольных символов; его и принимают за образующий полином.
Пример 6.6. Пусть требуется закодировать комбинацию вида 1101, что соответствует h(х) = х3 + х2 + 1. По формуле (6.5) определяем число контрольных символов r = 3. Из таблицы 6.3 возьмем многочлен g(х) = х3 + х + 1, т.е. 1011.
Решение:
Умножим h(х) на хr.
h(x)xr = (x3 + x2 + 1)x3 = x6 + x5 + x3 11010000
Разделим полученное произведение на образующий полином g(х)
При делении необходимо учитывать, что вычитание производится по модулю 2. Остаток суммируем с h(х)хr. В результате получим закодированное сообщение:
F(x) = (x3 + x2 + 1) (x3 + x + 1) = (x3 + x2 + 1)x3 + 1 1101001
В полученной кодовой комбинации циклического кода информационные символы h(х) = 1101, а контрольные R(х) = 001. Закодированное сообщение делится на образующий полином без остатка.
Сообщение, которое закодировано, является одной из комбинаций 4-разрядного кода, так как весь ансамбль сообщений (вся группа) содержит N=16 сообщений. Это значит, что если все сообщения передаются в закодированном виде, то каждое из них необходимо кодировать так же, как и комбинацию h(x) = 1101. Однако выполнять дополнительные 15 расчетов (а в общем случае 2n-k-1 расчет) нет необходимости. Это можно сделать проще, путем составления образующей (порождающей) матрицы.
Образующая матрица составляется на основе единичной транспонированной, к которой справа дописывается матрица дополнений:
Hn,k = || Ik, Cn,r || (6.6)
Матрица дополнений получается из остатков от деления единицы с нулями на образующий многочлен g(x). Комбинации единиц с нулями представляют собой векторы ошибок: 00...01, 00... 10, 00... 1...0 и т.д. Каждому вектору ошибок будет соответствовать свой остаток (опознаватель):
Получено 4 комбинации циклического кода, т.е. столько, сколько информационных разрядов, а так как в 4-разрядном двоичном коде всего N = 24 = 16 комбинаций, то остальные 11 ненулевых комбинаций находятся суммированием по модулю 2 всевозможных сочетаний строк образующей матрицы. Например, необходимо из исходных кодов 1101 и 1010 получить циклические помехозащищенные коды. Они получаются суммированием соответствующих строк образующей матрицы:
1. 1+3+4 = 1101001;
2+4 = 1010011.
