
- •1. Теория информации
- •1.1 Теорема Котельникова
- •1.2 Квантование сигнала по уровню
- •2. Мера информации
- •2.1 Мера информации по Шеннону
- •2.2 Энтропия дискретного ансамбля сообщений
- •2.3 Энтропия непрерывного ансамбля сообщений
- •2.4 Энтропия непрерывного ограниченного ансамбля
- •2.3 Количество взаимной информации
- •2.3.1 Дискретный канал передачи информации
- •2.3.2 Непрерывный канал передачи информации
- •2.3.3 Эпсилон-энтропия (ε-энтропия)
- •Кодирование источника информации
- •3.1 Метод кодирования равномерным кодом
- •3.2 Метод кодирования Шеннона-Фано
- •3.3 Метод кодирования Хафмана
- •3.4 Теорема оптимального кодирования источника независимых сообщений.
- •4 Канал связи
- •4.1 Скорость передачи информации и пропускная способность канала связи
- •4.2 Канал без шумов
- •4.3 Канал с шумами
- •4.4 Непрерывный канал связи
- •4.5 Теорема Шеннона о пропускной способности частотно ограниченного канала
- •5. Кодирование в канале
- •5.1 Систематические коды
- •5.1.1 Образование систематического кода
- •5.1.2 Систематический код Хемминга
- •5.2 Циклические коды
- •5.2.1 Обнаружение однократной ошибки
- •5.2.2 Исправление однократной ошибки
- •1. Теория информации 1
5.1.2 Систематический код Хемминга
Соотношение между числом информационных
символов
,
числом исправляемых ошибок
и числом символов кодовой комбинации
отображается неравенством (5.6). Хемминг
предложил использовать знак равенства
. (5.15)
-
Таблица 5.2*
n
7
15
31
63
127
255
k
4
11
26
57
120
247
r
3
4
5
6
7
8
0.4286
0.2667
0.1613
0.0952
0.0551
0.0314
Это предложение выполняется только для
определённых соотношений
,
и
.
В таблице 5.2 приведены решения уравнения
(5.15) для целых
,
и
=1.
Коды
имеют минимальное кодовое расстояние
и позволяют исправить одиночную ошибку.
Коды
имеют минимальное кодовое расстояние
,
обнаруживают двукратную ошибку и
позволяют исправить одиночную ошибку.
Второе предложение Хемминга касается
построения проверочной матрицы [Березюк
Справочник]. Проверочная матрица
должна состоять из столбцов, являющихся
кодом номера столбца в двоичном
представлении. Например, для кодапроверочная матрица будет иметь вид
|






(5.16)
Если задана информационная часть кода
,
необходимо определить значения
проверочных символов на 1-ой, 2-ой, 4-ой и
8-ой позициях пятнадцатиразрядного кода
по уравнениям (5.16).
Для определения синдрома ошибки проверочная матрица Hумножается на принятую кодовую комбинацию. Синдром указывает номер позиции символа, в которой произошла ошибка.
Ввиду того, что код Хемминга принадлежит систематическим (линейным) кодам, можно также составить производящую матрицу (с учётом особенностей записи кодов Хемминга) и определить все кодовые комбинации составляющие множество кодов Хемминга С(n,k)
Пример 5.3Используем кодс информационной частью
.
Составим таблицу 5.3, в первой строке –
номера символов (разрядов) в кодовой
комбинации, во второй – позиции
проверочных и значения информационных
символов.
Таблица 5.3 |
| ||||||||||||||
Номер символа |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
11 |
12 |
13 |
14 |
15 |
символы |
h1 |
h 2 |
1 |
h 4 |
1 |
0 |
1 |
h 8 |
0 |
0 |
1 |
0 |
1 |
1 |
1 |
Подставим значения символов согласно таблице 5.3 в систему равенств (5.16) и получим значения проверочных символов h1,h 2 ,h 4,h 8.
h1=h3 h5 h7 h9 h11 h13 h15= 1110111 =0,
h 2=h3 h6 h7 h12 h13 h14 h15= 1010111 =1,
h 4 =h 5 h6 h7 h10 h11 h13 h15= 1010111 =1,
h 8=h 9 h 10 h11 h 12 h13 h 14 h15= 0010111 = 0,
Кодер канала выдает последовательность символов
.
Проверка правильности вычислений –
произведение
.
Если произошла однократная ошибка,
скажем в третьем разряде, декодер выдает
двоичный код ошибки
,
если ошибка в десятом разряде вектора,
код ошибки равен
.Ввиду
иого, что