TEOR_inform_19-12-10_2014_01_06_12_12_03_442
.pdf
|
|
|
|
|
|
|
|
1 |
log |
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
Zi |
|
|
|
|
|
|
(4.36) |
|||||||||
|
|
|
|
|
|
2 |
2 e D Zi |
. |
|
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 Fm TH |
2 Fm TH |
1 |
log 2 e D |
|
|
|
|
|
||||||||||||||
|
Zi |
|
|
|
|
|
|
|
||||||||||||||
|
|
|
|
|
|
|
|
|
||||||||||||||
|
|
|
|
|
|
|
|
|
||||||||||||||
|
|
2 |
Zi |
|
|
|||||||||||||||||
|
|
i 1 |
|
i 1 |
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
1 |
2 Fm TH |
|
|
1 |
|
2 Fm TH |
|
|
|
|
|
|
|||||||||
|
|
|
log 2 e |
|
|
|
|
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
2 |
|
|
2 |
|
|
logD Zi |
|
|||||||||||||||
|
|
|
i 1 |
|
|
|
|
i |
1 |
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
1 |
|
|
|
|
|
|
|
|
1 |
|
|
2 Fm TH |
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
2 |
|
2 Fm TH log 2 e log |
|
D Zi |
. |
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
2 |
|
|
i 1 |
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Используем свойство: среднегеометрическое не превышает среднеарифметическое. Тогда
m |
H |
|
|
|
|
|
|
|
m H |
|
|
|
2 Fm TH |
|||
2 F T |
|
|
|
|
|
|
|
|
2 F T |
|
|
|
||||
Zi |
Fm TH log 2 e |
1 |
1 |
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
||||||||
2 log |
|
|
|
|
|
|
||||||||||
2 F |
T |
D Zi |
|
|
||||||||||||
i 1 |
|
|
|
|
|
m |
H |
i 1 |
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
F |
T |
log 2 e F T |
|
|
|
|
|
2 Fm TH |
P |
D |
|
|
|||
|
log |
1 |
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
s i |
|
|
|
|
|
||
|
m H |
m H |
|
|
|
|
|
|
|
i |
||||||
|
|
2 F T |
|
|
||||||||||||
|
|
|
|
|
|
m |
H |
i 1 |
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
2 Fm TH |
|
2 FmTH |
||
Fm TH log 2 e Fm TH |
|
|
Ps i |
|
|
||
log |
|
|
|||||
2 Fm TH |
|||||||
|
|
|
i 1 |
|
i 1 |
||
|
|
|
|
|
|
|
|
|
log 2 e F T |
|
P F N |
|
|
F T |
log |
s m |
0 |
|
|
|
|
||||
m H |
m H |
|
2 Fm TH |
|
|
|
|
|
|
|
D i
(4.37)
При вычислении условной энтропии |
|
2 Fm T |
2 Fm T |
|
используется незави- |
H Z |
H Y |
H |
|
||
|
|
|
|
|
|
симость символов попарно на входе и выходе канала связи.
|
2 Fm T |
|
2 Fm T |
|
Z1 Y1 Z2 |
Y2 |
|
|
Y2 F T |
|
|
|
H Z |
H |
Y |
H |
|
Z2 F T |
|
|
|||||
|
|
|
|
|
|
|
|
|
m H |
m H |
|
|
|
|
|
|
|
2 Fm TH |
Yi |
|
|
|
|
|
|
|
|
|
|
= |
Zi |
|
|
|
|
(4.38) |
||
i 1
51
Условная энтропия Zi 
Yi зависит от шума и распределена по нормальному
закону (ссылка на канал связи ****) согласно условиям теоремы. Энтропия случайной величины, распределѐнной по нормальному закону, равна
|
|
|
|
1 |
log 2 e D |
|
|
1 |
|
|
|
|
|
|
N |
0 |
|
|
|
|
|
|
|
|
|
||||||||||||||
|
|
|
|
|
log 2 e |
|
|
|
|
|
|
|
|
|
. |
|
|
|
|
||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||
|
|
|
|
2 |
|
|
|
|
|
|
k |
2 |
|
|
|
|
|
2TH |
|
|
|
|
|
|
|
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||
После подстановки (**.5) в (**.14) получим |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||
|
|
2 F T |
|
2 F T |
|
F |
|
|
|
|
|
|
|
e |
|
|
N0 |
|
|
|
|
|
|
|
|||||||||||||||
|
H Z |
|
|
m H |
Y |
|
m H |
|
|
T |
|
log 2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
m H |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2TH |
|
|
|
|
|||||||||||||
|
|
|
|
|
F |
|
|
log 2 e F |
|
|
|
|
N |
0 |
|
|
|
|
|
|
|
||||||||||||||||||
|
|
|
|
|
T |
T log |
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||
|
|
|
|
|
|
m H |
|
|
|
|
|
|
|
|
m H |
2T |
|
|
|
|
|
|
|
|
|||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
H |
|
|
|
|
|
|
||||||||
Подставим выражения (**.13) и (**.16) в (**.10): |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||
|
|
|
|
1 |
|
|
|
|
log 2 e |
|
|
|
|
|
|
|
|
|
P F N |
|
|
|
|||||||||||||||||
C lim |
max |
|
F |
T |
|
F T |
log |
|
|
|
s |
m |
0 |
|
|
||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||
|
|
|
|
|
|
m H |
|
|
|
|
|
|
|
|
|
|
m H |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
TH w ( y ) TH |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 Fm TH |
|
||||||||||||||
|
T log 2 e |
F T |
|
|
|
N |
0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
F |
log |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||
m H |
|
|
|
|
|
|
|
|
m H |
|
|
2TH |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
P F N |
|
|
|
|
|
N |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
|
max F log |
|
s |
|
m |
0 |
log |
|
|
|
0 |
|
|
|
|
|
max F |
log |
|||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||
|
w ( y ) |
m |
|
|
|
2 F T |
|
|
|
|
2T |
|
|
|
|
|
|
w ( y ) |
m |
|
|
||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
m H |
|
|
|
|
|
|
|
H |
|
|
|
|
|
|
|
|
|
|
|
|||||||||
В результате получим
C max F |
|
Ps |
|
|
log 1+ |
|
|
||
|
||||
w ( y ) |
m |
|
Fm N0 |
|
|
|
|
||
(4.39)
(4.40)
Ps Fm N0
2 F T N0
m H 2TH
(4.41)
Если сигнал на входе канала связи распределѐн по нормальному закону, пропускная способность канала равна
C F |
|
Ps |
|
|
log 1+ |
|
|
(4.42) |
|
|
||||
m |
|
|
|
|
|
|
Fm N0 |
|
|
Как видно из формулы, пропускная способность канала зависит от полосы частот, занимаемой сигналом, мощности сигнала и спектральной плотности мощности «белого» шума.
52
5. Кодирование в канале
Ранее были определены операции кодирования источников сообщений. Если полученную последовательность сигналов передавать через канал потребителю, то часть сигналов может быть искажена. Чтобы обнаружить и исправить искажения вводится некоторая избыточность информации в передаваемые кодовые комбинации. Процедура введения избыточности в кодовые комбинации называется помехоустойчивым кодированием или кодированием в канале и выполняется кодером канала. Коды, позволяющие исправлять ошибки, называются корректирующими.
Для восстановления первоначального кода служит декодер канала. На рисунке 5.1 приведена модель передачи информации с применением кодера и декодера канала.
Помехи могут исказить q символов в кодовом слове. Если искаженные симво-
|
|
|
|
Кодер |
|
|
Кодер |
|
|
|
|
|
|
|
|||
|
Источник |
|
|
|
|
|
|
|
|
|
|||||||
|
|
источника |
|
|
канала |
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
шум |
|
Канал |
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
Декодер |
|
Декодер |
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
Потребитель |
|
|
|
||||||||
|
|
канала |
|
источника |
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Рис. 5.1. Модель канала передачи информации с использованием кодера и декодера канала связи
лы независимы и вероятность искажения одного символа равна p , то вероятность
ошибки кратности q равна |
|
|
|
P |
C q |
p q 1 p n q , |
(5.1) |
q |
n |
|
|
где n - число двоичных символов в передаваемой кодовой комбинации.
Обычно p 1. Из приведѐнной формулы видно, что наиболее вероятны одиночные ошибки и ошибки малой кратности. Поэтому разрабатывались корректирующие коды, определяющие одиночные ошибки и ошибки кратности 2, 3, 4.
При декодировании принятой кодовой комбинации возникают две проблемы:
-обнаружение ошибки,
-исправление ошибки.
Естественно, что вторая задача включает первую, но они различаются по методам обработки кодовой последовательности и по числу символов, необходимых для обнаружения и исправления ошибок.
Пусть на вход кодера канала поступают k - разрядные кодовые комбинации и можно образовать 2k - кодовых комбинаций. На выходе кодера канала получаем n
53
-разрядные кодовые комбинации, которые образуют 2n - кодовых комбинаций,
n k ,и они передаются в канал связи. В множестве 2n кодовых комбинаций со-
держится 2k кодовых комбинаций, которые соответствуют кодовым комбинациям на входе кодера канала. Назовѐм их разрешёнными кодовыми комбинациями, ос-
тальные 2n - 2k - запрещенными (неразрешѐнными) кодовыми комбинациями. Ошибка при декодировании обнаруживается, если декодируемый код попадет
вобласть неразрешѐнных кодовых комбинаций, рисунок 5.2.
Врезультате передачи информации на выходе канала связи возможны различные комбинации кодов на входе кодера канала и на выходе канала связи. Их число
равно 2k 2n . В число этих комбинаций входят:
2 |
k |
2k |
2n |
|
|
||
|
|
2k 2k 1 |
2n 2k |
2k 2n 2k
Рис.5.2 Переход разрешѐнных кодовых комбинаций в область разрешѐнных и неразрешѐнных кодовых комбинаций
2k - число безошибочных переходов (безошибочного декодирования),
2k 2k 1 - число пе-
реходов в другие (ошибочные) разрешѐнные кодовые комбинации,
2k 2n 2k
переходов в неразрешѐнные кодовые комбинации. Всего различных вариантов
кодовых комбинаций будет
2k + 2k 2k 1 + 2k 2n 2k = 2k 2n .
Те кодовые комбинации из 2k |
разрешѐнных, которые перешли в область за- |
|||||
прещѐнных кодовых комбинаций, могут быть обнаружены безошибочно. |
||||||
Доля обнаруженных ошибочных кодовых комбинаций по отношению к обще- |
||||||
му числу вариантов приема сигналов равна |
|
|||||
N |
2k |
2n 2k |
1 |
2 |
k |
. |
|
|
|
||||
|
|
|
|
|||
1 |
|
2k 2n |
|
2n |
|
|
Рассмотрим возможность исправления ошибок. Разобьем все неразрешѐнные
кодовые комбинации на 2k подмножеств. Сопоставим каждому разрешѐнному коду одно определѐнное подмножество из области запрещѐнных кодов. В этом подмножестве должны содержаться коды, указывающие ошибки в принятой кодовой комбинации. Организация этих подмножеств зависит от числа исправляемых ошибок и методов кодирования-декодирования. Доля исправляемых ошибок по отношению к общему числу обнаруживаемых ошибок равна
54
|
2n 2k |
1 |
|
|
|
|
|
|
N2 2k 2n 2k |
2k . |
|
|
|
|
|
Если рассмотреть геометрическую интерпретацию кодов, то кодовые комби- |
|||||||
нации будут представлять вершины n -мерного куба. |
|
|
|
||||
Мерой различия двух кодовых комбинаций является кодовое расстояние |
d , |
||||||
равное числу символов, которыми отличаются две кодовые комбинации, и назван- |
|||||||
ное расстоянием Хемминга. С геометрической точки зрения кодовое расстояние – |
|||||||
это число рѐбер многомерного куба, которое необходимо пройти от одной кодовой |
|||||||
комбинации к другой. |
|
|
|
|
|
||
Пример 5.1. Чтобы найти расстояние Хемминга между двумя кодами необхо- |
|||||||
|
димо сложить по модулю два обе кодовые комбинации. Число |
||||||
1 0 011 0111 |
«1» в результате суммирования равно кодовому расстоянию. В |
||||||
1 01 0 011 01 |
приведѐнном примере d =5. |
|
|
|
|
||
0 01111 01 0 |
Другим параметром, характеризующим кодовую комбина- |
||||||
цию является вес кода – P - число «1» в кодовой комбинации. |
|
||||||
|
|
||||||
Рассмотрим, как влияет кодовое расстояние на обнаружение и исправление |
|||||||
ошибок. Положим, d = 1, т.е. все кодовые комбинации являются разрешѐнными ко- |
|||||||
довыми комбинациями. Любая ошибка трансформирует одну кодовую комбинацию |
|||||||
в другую. |
|
|
|
|
|
|
|
Увеличим кодовое расстояние на единицу. Если расстояние между кодовыми |
|||||||
комбинациями равно 2, то существуют запрещѐнные кодовые комбинации, т.е. при |
|||||||
однократной ошибке, чтобы перейти из одной вершины гиперкуба к другой, на ко- |
|||||||
торой расположены разрешѐнные коды, нужно пройти по двум рѐбрам. Но между |
|||||||
двумя разрешѐнными кодами на вершинах гиперкуба обязательно находится за- |
|||||||
прещѐнная кодовая комбинация. И любая однократная ошибка приводит к запре- |
|||||||
щѐнной кодовой комбинации, которая обнаруживается декодером. |
|
|
|||||
|
|
На рисунке 5.3 изображѐн трѐхмерный куб, на |
|||||
|
011 |
вершинах которого размещены трѐхразрядные |
|||||
001 |
|
коды. Разрешѐнными кодами являются 000, |
|||||
|
|
||||||
|
|
011, 101, 110. Остальные коды 001, 010, 100, |
|||||
101 |
111 |
111 - запрещѐнные. Следует обратить внима- |
|||||
|
ние: |
|
|
|
|
||
|
010 |
|
|
|
|
||
000 |
-- минимальное кодовое расстояние для обна- |
||||||
|
|||||||
|
|
ружения одиночной ошибки равно 2, |
|
||||
|
110 |
-- число «1» в неразрешѐнных кодовых ком- |
|||||
100 |
|
||||||
|
бинациях – нечѐтное. Поэтому иногда проце- |
||||||
|
|
||||||
|
|
дуру обнаружения одиночной ошибки назы- |
|||||
Рис.5.3 Трѐхмерный куб с раз- |
вают проверкой на чѐтность. |
|
|
||||
решѐнными и запрещѐнными |
В общем случае для обнаружения q кратной |
||||||
кодовыми комбинациями |
ошибки |
минимальное |
кодовое |
расстояние |
|||
|
|
55 |
|
|
|
|
|
|
001 |
|
110 |
||
000 |
|
010 |
111 |
|
101 |
|
|
||||
|
100 |
|
011 |
||
должно удовлетворять неравенству
dq ì èí q 1 |
(5.2) |
Для исправления ошибок число проверочных кодов должно быть больше, так как проверяется каждый символ в разрешѐнной кодовой комбинации на наличие ошибки.
В общем случае для исправления ошибок кратности s минимальное кодовое расстояние меду разрешѐнными кодовыми комбинациями должно удовлетворять соотношение
ds ì èí |
2 s 1 |
(5.3) |
Например, если необходимо передать символы «0» и «1» с учѐтом исправления возникших ошибок, то согласно неравенству (5.3), надо использовать коды с минимальным кодовым расстоянием, равным 3. Наиболее наглядным является использование кодов 000 и 111 для передачи символов «0» и «1», (рисунок 5.4).
В трѐхразрядном коде две кодовые комбинации (000, 111) являются разрешѐнными. Остальные кодовые комбинации – запрещенные. При наличии однократной ошибки в кодах 000 или 111 декодер обнаруживает их и исправляет.
С точки зрения геометрической интерпретации n -разрядный двоичный код расположен на вершинах n -мерного куба, представляющих как разрешѐнные, так и запрещѐнные кодовые комбинации. Если интерпретировать число исправляемых символов s как радиус n -мерной сферы, из неравенства (5.3) можно получить условие
s ( d 1) / 2 ,
определяющее подмножество разрешѐнных комбинаций, находящихся в n -мерной сфере радиуса s , с кодовым расстоянием, не превышающим ds ì èí .
Для обнаружения всех ошибок кратности q и исправления ошибок кратности s расстояние между разрешѐнными кодовыми комбинациями должно выбираться из условия
dq ,s ì èí q s 1. |
(5.4) |
Приведѐнные формулы получены для исправления независимых ошибок. Они дают завышенные значения минимального кодового расстояния при помехе, коррелированной с сигналом.
Если длительность помехи превышает длительность сигнала, то ошибка возникает подряд в нескольких разрядах передаваемого кода. Ошибки подобного рода называются пачками или пакетами ошибок.
Длиной пачки ошибок называется число, следующих друг за другом символов, левее и правее которых в кодовой комбинации искажѐнных символов не содержится.
56
Одной из характеристик корректирующего кода является избыточность кода
Rr |
|
n k |
|
r |
, |
(5.5) |
|
n |
n |
||||||
|
|
|
|
|
где n - число символов на выходе кодера канала, k - число символов на входе кодера канала,
r - число дополнительных символов, используемых для обнаружения и исправления ошибок.
Определим связь между числом исправляемых символов s и длиной n разрядного кода для независимых ошибок. Общее число различных исправляемых
ошибок для каждой разрешѐнной комбинации равно s |
Cni ,[Темников, стр. |
i 1 |
|
136]. Каждая из возможных ошибок должна приводить к запрещѐнной кодовой комбинации, относящейся к подмножеству данной разрешѐнной комбинации. Таким образом, число кодов, включая разрешѐнную кодовую комбинацию, будет
1 s |
Cni . Ввиду того, что общее число различных комбинаций n -разрядного |
i 1 |
|
кода составляет 2n , число разрешѐнных комбинаций - |
2k , то должно выполняться |
|||
неравенство |
|
|
|
|
|
2n |
|
2k . |
(5.6) |
1 s |
|
|||
Cni |
|
|||
|
i 1 |
|
|
|
Эта граница была найдена Хеммингом, [**]. Из неравенства (5.6) можно определить число символов r , необходимых для исправления не более, чем s кратных ошибок:
2n k |
2r |
s |
Cni . |
(5.7) |
|
|
i 0 |
|
|
Приведенные формулы позволяют оценивать возможности метода кодирования при заданных ограничениях на число символов в кодовой комбинации.
5.1 Систематические коды
Для передачи информации используются разнообразные методы кодирования, зависящие от требований к восстанавливаемой информации, а также от свойств линий передачи информации. На рисунке 5.5 приведена сокращѐнная таблица кодов, взятая из [Березюк Кодирование информации]. В левой части таблицы указаны коды, применяемые для кодирования источников сообщений. В правой части таблицы указаны коды, применяемые для помехоустойчивого кодирования. Избыточные коды помимо информационных символов содержат дополнительные символы, применяемые для обнаружения и исправления ошибок. Сами избыточные коды делятся на блочные и непрерывные. Непрерывные коды характерны тем, что между символами, несущими информацию, находятся проверочные символы, т.е. на вход кодера канала подаѐтся
57
последовательность информационных символов. На выходе кодера получается новая последовательность символов, перемежающихся с проверочными символами. Процесс кодирования, передачи информации и декодирования производится в непрерывном режиме .
При блочном кодировании информации производится объединение передаваемых сообщений в блоки, и они затем подвергаются кодированию. Блок состоит из n символов, из которых k символов являются информационными, r n k - проверочными. В блочных кодах выделяются разделимые коды. В них k известных позиций отводятся под информационные символы, а остальные n k позиций – под передачу проверочных символов. В неразделимых кодах такого чѐткого раз-
граничения нет. Разделимые коды обозначаются как |
n , k . Разделимые коды в |
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Двоичные коды |
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Не избыточные |
|
|
|
|
|
Избыточные |
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Равномерные |
|
|
|
|
|
|
|
Двоично- |
|
|
|
|
|
|
|
Неравномерные |
|
|
|
|
|
|||||||
|
|
|
|
десятичные |
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
||
Простые
|
|
|
|
|
Блочные |
Непрерывные |
||
Шеннона- |
Хафмена |
|||||||
|
|
|
|
|
|
|||
|
|
|
|
|
|
|||
Фано |
|
|
|
|
|
|
||
|
|
|
|
|
|
Неразделимые |
||
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
||
|
|
|
|
Разделимые |
|
|||
|
|
|
|
|
|
|||
Систематические Несистематические
Циклические
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
однойСпроверкой четностьна |
|
Корреляционный |
|
Хемминга |
|
Голея |
|
Маллера-Рида |
|
Варшамова |
|
Простейшийс d=2 |
|
Хемминга |
|
Чоудхури-Боуза - Хоквингема |
|
Мажоритарный |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Рис.5.5 Двоичные коды, применяемые при кодировании информации свою очередь делятся на систематические и несистематические коды.
Рида - Соломона
58
Систематические (n, k) коды – это коды, в которых проверочные символы представляют линейную комбинацию информационных символов. Часто эти коды называют линейными кодами.
Пусть a1 , ak информационные символы, b1 , br проверочные символы,
a1 ak b1 br разрешѐнная кодовая комбинация.
Согласно определению систематического кода каждый символ bi может быть записан как линейная комбинация информационных символов.
|
|
|
|
bi k |
Ci j a j , |
(5.8) |
|
|
|
|
j 1 |
|
|
где коэффициенты Ci j |
принимаю значения 0 или 1. |
|
||||
Положим, a * |
a * |
b* |
b* |
новая разрешѐнная комбинация. Составим сумму по |
||
1 |
k |
1 |
r |
|
|
|
модулю два двух проверочных символов для одних и тех позиций прежней и новой кодовых комбинаций
bi bi* kj 1Ci j a j a*j .
Как видно из полученного выражения, вновь полученный проверочный символ на i ой позиции является линейной комбинацией информационных символов.
Сумма по модулю два разрешѐнных кодовых комбинаций дает также разрешѐнную кодовую комбинацию.
5.1.1 Образование систематического кода
Обычно для построения кодов необходимо знать длину кодовой комбинации n , кратность обнаруживаемых ошибок q , число исправляемых ошибок s . Числа q и s задают минимально допустимое кодовое расстояние dì èí , [Гуров, стр.
417].Для построения всевозможных кодовых комбинаций строится порождающая матрица (производящая матрица), состоящая из k строк и n столбцов и удовлетворяющая следующим условиям:
1.все исходные комбинации должны быть различны,
2.нулевая комбинация не должна входить в число исходных комбинаций,
3.исходные кодовые комбинации должны быть линейно независимыми,
4.каждая кодовая комбинация должна иметь вес не менее dì èí ,
5.кодовое расстояние между любой парой исходных кодовых комбинаций должно быть не менее dq ,s ì èí .
59
Подобранные определѐнным образом и удовлетворяющие приведѐнным условиям кодовые комбинации образуют матрицу, состоящую из k строк и n столбцов. Полученная матрица называется производящей.
Если имеется кодовая комбинация, состоящая из k символов, число всевозможных кодов равно 2k . Их них выделяются k 1 кодовых комбинаций, остальные
2k k 1 комбинаций находятся как линейные комбинации строк, входящих в производящую матрицу.
Запишем производящую матрицу
a11 |
a1 k |
b11 |
b1 r |
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
G A B a |
21 |
a 2 k |
b 21 |
b |
2 r . |
(5.9) |
||||||
|
|
|
|
|
|
|
|
|
||||
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
||
a |
k 1 |
a |
kk |
b |
k 1 |
b |
|
|
|
|||
|
|
|
|
|
|
|
kr |
|
||||
Как видно, матрица G состоит из двух частей – информационной подматрицы A размерности k k и проверочной подматрицы B размерности k r . В число
разрешѐнных кодовых комбинаций 2k входят кодовые комбинации, образующие единичную матрицу E размерности k k . Заменим информационную часть матрицы G единичной матрицей E и получим матрицу
|
1 |
0 |
0 |
b11 |
b1 r |
|
|
|||||
|
|
0 |
1 |
0 |
b 21 |
|
b |
|
|
|
|
|
G |
E B |
2 r |
, |
(5.10) |
||||||||
0 |
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
||
|
|
0 |
0 |
1 |
b |
k 1 |
b |
|
|
|
|
|
|
|
|
|
|
|
|
|
kr |
|
|
||
которая называется канонической формой порождающей матрицы.
Три исходных требования к порождающей матрице G выполняются автоматически. Выдвинем условия к строкам подматрицы B
- число единиц в каждой строке не менее dì èí 1,
- кодовое расстояние между строками подматрицы B должно быть не менее
dq ,s ì èí 2 .
Таким образом, удовлетворяются все требования, выдвинутые к матрице G . Зная информационную часть порождающей матрицы, можно на основе требований к канонической форме порождающей матрицы G0 найти проверочные символы bi j .
[Темников, стр. 145] Обычно бывает известно количество передаваемых сообщений или количество
информационных разрядов k , а также число обнаруживаемых или исправляемых ошибок. По ним определяется число символов r , необходимых для проверочной
части кода bT b1 br . Из всего множества 2 r кодов выбираются произвольно
k кодов, удовлетворяющие условиям построения подматрицы B в выражении (5.10) , и строки подматрицы B заменяются выбранными кодами. В результате по-
60