10.5.1Пример. Код Хемминга.

Пусть m – натуральное число. Проверочная матрица кода имеет размеры m x (2^m-1).

В столбцах находятся все ненулевые последовательности длины m, представляющие собой двоичную запись числа – номера столбца. Очевидно, что любые два столбца линейно независимы, а среди троек столбцов уже есть линейно зависимые наборы. Поэтому согласно приведенной выше теореме кодовое расстояние кода Хемминга d = 3. Следовательно этот код исправляет ровно одну ошибку.

Длина кодовых слов n = 2^m – 1. Число проверочных символов m = log (n + 1). Число информационных символов равно 2^m – 1 - m. Отсюда следует, что число кодовых слов |C| в коде Хэмминга |C| = 2ⁿ / (1 + n).

Заметим теперь, что число точек в шаре радиуса единица равно 1 + n, и вспомним приведенную выше границу Хэмминга:

Код Хемминга исправляет одну ошибку и A(n, 3) = 2 / (1 + n). Получаем, что для Хемминга граница Хемминга достигается, «шары вокруг кодовых точек покрывают все пространство Bⁿ».

Опр.: Код С, исправляющий t ошибок, называется совершенным, если . Совершенный код – код, на котором достигается граница Хемминга.

Сразу из определения проверочной матрицы кода Хэмминга следует простой алгоритм декодирования. Декодирование происходит сразу после вычисления синдрома принятого слова y. Для принятого слова y есть три возможности:

1. Ошибок не было. Тогда синдром S = y H^T=0.

2. Ошибка ровно одна. Тогда синдром является двоичной записью (индикатором) номера бита, в котором произошла ошибка.

3. Произошло более одной ошибки. Тогда код Хэмминга не обеспечивает защиты от ошибок.

Пример:

m = 3, n = 2³ – 1 = 7, k = 4. Пусть информационными будут символы ( ).

U = 1100 → 0 1 1 1 1 0 0

Если U – передано, U’ – получено, рассмотрим 3 случая:

С Заметим, что в данном примере

В общем случае мы получаем, что синдром это UH^T = - сумма «локаторов ошибок».

Задача: Построить код, исправляющий t ошибок.

10.5.2Замечание. Совершенные коды и теорема Шеннона.

Еще одна теорема Шеннона связана с совершенными кодами. Эта теорема отвечает на вопрос, что будет в случае невыполнения условия второй теоремы Шеннона: R = log M / n = k / n < 1 – H(p).

В лемме (*) было доказано, что |B_pn(x)| ≤ 2^nH(p). На самом деле, справедлива более точная оценка: |B_pn(x)| ~ 2^nH(p) (при n → ∞). И это асимптотическое равенство достигается именно для совершенных кодов. В итоге получим, что k = n – n H(p) для совершенного кода. А отсюда можно получить, что максимум вероятности правильного декодирования достигается именно на совершенном коде.

Теорема. Если то k / n > 1 – H(p) → pn> t, t>o, то не существует метода кодирования такого, что вероятность правильного декодирования стремится к единице..

10.5.3Бчх – коды

В основу легли 2 идеи: построить такую проверочную матрицу, у которой кодовое расстояние 2t + 1 (2t столбцов линейно-независимы); нужно соответствующим образом построить алгоритм кодирования (декодирования).

Получаем t уравнений с t неизвестными, решаем их и находим, где произошли ошибки.

многочлен степени (n-1) ( )

Для любого n существует неприводимый многочлен степени n. Пусть это h(n). Рассмотрим произвольное числовое поле:

Берем Md – определитель Вандермонда, не равный 0. Значит, любые d столбцов различны.

Код, считающий t ошибок, будет работать с m = t log n тактами. Скорость кода log 2^k / m = k / n, (n – t log n) / n = 1 – t log n / n

Смысл в том, чтобы перейти от GF(2) к GF(2*) [GF(p) → GF(p^k)]

Есть бинарный вектор α₁…α_k. Сопоставим этому вектору полином: α₁ + α₂x + … + α_k-1x^k-2

Утверждение: Для любого k существует неприводимый полином P(x), т.е. не существует Q(x) и R(x) отличных от константы, таких что P(x) = Q(x) R(x).

Берем P(x) и рассматриваем кольцо класса вычетов по P(x) (degP(x) = k). Другими словами, рассмотрим все полиномы, которые при делении на P(x) дают один и тот же остаток – они образуют один класс; таких классов конечное число.

Сколько полиномов со степенью не больше k? 2^k. Т.о. всего классов вычетов по неприводимому полиному 2^k.

Опр.: Неприводимый полином P(x) называется примитивным, если все x⁰, x¹, … ,

лежат в разных классах вычетов.

Утверждение: Кольцо классов вычетов по P(x) является полем.

Пример: GF(2) → GF(2⁴), P(x) = x⁴ + x +1

x ⁰ 1 1000

x¹ x 0100

x² x² 0010

x³ x³ 0001

x⁴ x+1  110

x⁵ x + x² 0110

x⁶ x² + x³ 0011

x⁷ 1 + x + x³ 1101

x⁸ 1 + x² 1010

x⁹ x + x³ 0101

x¹⁰ 1 + x +x² 1110

x¹¹ x + x² + x³ 0111

x¹² 1 + x² + x³ + x 1111

x¹³ 1 + x² + x³ 1011

x ¹⁴ 1 + x³ 1001

x¹⁵ = x⁰ 1000

Можем решать в этом поле уравнения.

α₁…α_n – элементы поля GF(2^k)

α_i – вектор ( ) = γ_i

= (0,1)-матрица

Теорема: Любые 2S столбцов m – линейно-независимые.

(α₁ + … + α_n)² = α₁² + … + α_n² (*)

Доказательство (от противного):

Пусть существует h столбцов (h ≤ 2S), являющихся линейно-зависимыми. Это столбцы с номерами i₁…i_h → γ^2t-1_i1 + … + γ^2t-1_in = (0…0)^T, t = 1…S

Если перейти к элементам поля:

α ^2t-1_i1 + … + α ^2t-1_in = 0, t = 1…S (1)

Для любого четного q (1 ≤ q ≤ 2S): q = 2^U (2t – 1), U ≥ 1, t ≤ S

Применим соотношение (*) к равенству (1) U раз: α ¹_i1 + … + α ^q_in = 0, q = 1…2S (**)

Определитель Вандермонда

Возьмем ее и любой минор порядка (d – 1); минор будет представлять собой определитель Вандермонда порядка d – 1 α_i = α_j.

Теперь возьмем d = 2S + 1, т.о. любой минор порядка 2S не равен 0 → любые 2S столбцов – линейно-независимые → противоречие с (**)

Следствие: Матрица может быть проверочной матрицей (n, k) – кода, исправляющего S ошибок.

Число проверочных символов БЧХ-кода для исправления S ошибок:

m ~ s log n

k = n – s log n при n → ∞, k → n

Пусть произошло 3 ошибки в позициях η, δ, ζ. Тогда при рассмотрении верхней части матрицы η + δ + ζ = ρ^-1; второй части: η³ + δ³ + ζ³ = ρ^*; третьей части: η⁵ + δ⁵ + ζ⁵ = ρ^**. Система из трех уравнений с тремя неизвестными. Чем больше S, тем больше сложность алгоритма.