algebcodes (1)

берется по всем CM2 парам векторов множества A. Эта величина носит название "минимальное расстояние кода" или "кодовое расстояние". Оба термина — синонимы.

Пусть минимальное расстояние кода есть d = 2t + 1. Если при передаче вектора a было искажено t, или менее символов,

то принятый вектор a′ будет a′ = a+e, где вектор-ошибка e содержит t или менее единиц. Тогда для произвольного вектора

x A, x ≠ a, будет справедливо неравенство d(a′ , a) < d(a′ , x).

Оно означает, что принятый вектор a′ ближе к передававшемуся вектору a, чем к любому другому вектору x A, x ≠ a.

Так как в силу (0.1.2) вероятность того, что произошло меньшее число ошибок, больше, чем вероятность того, что произошло большее число ошибок 2, то декодирование принятого

вектора a′ в вектор a будет правильным. Такой способ декодирования является частным случаем декодирования "по максимуму правдоподобия" , который независимо от способа его реализации в своей расширительной трактовке преследует цель минимизировать ошибку декодирования.

В этом месте и проявляется теорема Шеннона. "Правильное декодирование" есть синоним выражения "ис-

правлена ошибка". Сказанное означает, что справедливо

Утверждение 0.2.1. При

код A исправляет все независимые ошибки кратности t и менее.

Пусть цель исправления ошибок не преследуется, а требуется только установить факт наличия ошибок. Ясно, что при d = 2t + 1 никакие независимые ошибки кратности 2t и менее не могут преобразовать передававшийся вектор a ни в один из векторов x A, x ≠ a. Установление факта наличия ошибок называют "обнаружением" ошибок или "отказом от декодиро-

вания".

Таким образом, имеет место

Утверждение 0.2.2. При d ≥ 2t + 1 код A исправляет все независимые ошибки кратности t и менее, или обнаруживает все независимые ошибки кратности 2t и менее.

2Нетрудно провести соответствующий расчет, однако читатель сделает это самостоятельно

Подчеркнем, что союз "или" здесь разделительный!

Пусть, наконец, кодовое расстояние четно: d = 2t + 2. Разумеется, по-прежнему исправляются все независимые ошибки кратности t и менее. Но если произойдет t+1 ошибок, то исправить их невозможно, зато можно обнаружить, так как они не смогут преобразовать ни один вектор a A ни в один вектор x A.

Иначе говоря, справедливо

Утверждение 0.2.3. При d ≥ 2t + 2 код A исправляет все независимые ошибки кратности t и менее, и одновременно обнаруживает все независимые ошибки кратности t + 1.

Изложенному здесь можно придать геометрическую форму. Рассмотрим рис. 4 и 5.

Рис. 4. Случай расстояния d = 3

Рис. 5. Случай расстояния d = 4

Если был передан вектор a (или b), и произошла одна ошибка, то будет принят вектор a′ или ((b′ )). В случае расстояния d = 3 принятый вектор a′ будет действительно ближе к истин-

но переданному a, а принятый вектор b′ будет действительно ближе к истинно переданному b. Декодирование будет безошибочным. Если произойдут две ошибки, то при расстоянии d = 3

принятый вектор a′ совпадет с вектором b, а принятый вектор b′ совпадет с вектором a. Декодирование будет ошибочным.

В случае расстояния d = 4 при двух ошибках оба передававшихся вектора a и b превратятся в вектор c, который одинаково удален от a и b, и не будет декодирован ни в один из них. Обнаружен факт наличия ошибок. В принятой терминологии — "обнаружена ошибка".

0.3.Скорость передачи и минимальное расстояние

Интуитивно ясно, что создание расстояния между кодовыми

векторами кода A с необходимостью влечет увеличение длины вектора, и как отмечалось выше, ведет к уменьшению скоро-

сти передачи k/n. Поэтому интересно выяснить, каков закон, связывающий скорость передачи кода с кодовым расстоянием. Будем выводить этот закон так называемым методом исчерпания, одновременно строя сам код A, содержащий M векторов длины n, находящихся на расстоянии не менее чем d друг от друга. Заметим при этом, что k =] log2 M[.

В качестве первого вектора u1 выберем произвольный вектор из 2n всех векторов длины n. Затем найдем все векторы, которые находятся на расстоянии 1, 2, ... , d − 1 от него. Вместе с вектором u1 их будет всего

∑d−1

Cni .

i=0

Удалим эти векторы из нашего арсенала выбора. Оставшиеся

векторов находятся от вектора u1 на расстоянии, не меньшем, чем d. Поэтому любой из них может быть выбран как вектор u2 нашего кода. И в этом случае найдем все векторы, которые находятся на расстоянии 1, 2, . . . , d −1 теперь уже от вектора u2. По построению они находятся на расстоянии, не меньшем, чем d и от вектора u1.

Удалим и эти векторы из нашего арсенала выбора, не обращая внимания на то, что некоторые из них были удалены ранее. Оставшиеся не менее чем

∑d−1

2n − 2 Cni i=0

векторов находятся от векторов u1 и u2 на расстоянии, не меньшем, чем d. Любой из них может быть выбран как вектор u3.

Поступая с ним так же, как и с предыдущими, а затем выбирая последовательно векторы кода до вектора uM−1, удалим всего

∑d−1

(M − 1) Cni

i=0

векторов. Если количество оставшихся векторов будет удовлетворять неравенству

то можно выбрать еще один вектор, который находится на расстоянии, не меньшем, чем d от всех предыдущих, а это означает, что код A с параметрами n, d, M заведомо существует.

Заметим, что множество ∑d−1 Ci векторов, отстоящих на

i=0 n

расстоянии не менее, чем d − 1 от вектора ui, вместе с самим векторомцентром. ui называется шаром радиуса d −1, а вектор ui — его Неравенству (0.3.5), как легко видеть, можно придать иную

Читается это неравенство так: если скорость передачи k/n кода удовлетворяет неравенству (0.3.6), то код длины n с расстоянием d существует. Неравенство (0.3.6) называется границей Гилберта. Оба последних неравенства выражают типичную границу существования. Способ ее вывода — исчерпание

— основан на переборе всех 2n векторов длины n, ничего общего не имеет с алгеброй, и ни в коем случае не может быть

способом построения кода. Довольно грубое обращение с шарами, которые могут пересекаться, и потому один и тот же вектор может удаляться не один раз, создает впечатление о возможно-

сти улучшения границы существования. Разумеется, учитывая возможность многократного выбрасывания каких-нибудь векторов, в неравенстве (0.3.6) можно получить величину, меньшую, чем та, которая стоит под знаком суммы. Но когда говорят об улучшении границы, имеют в виду асимптотическую

форму границы (см. 8.3). Так вот ее-то, как показала история, улучшить не удается.

Создание расстояния d между векторами играет важную роль не только в случае помех, свойственных двоичному симметричному каналу, показанному на рис. 2. На рис. 6 показан так называемый двоичный стирающий канал.

1−τ

0 0

τ

τ

1 1

1−τ

Рис. 6. Двоичный стирающий канал

Передаваемые символы принимаются неискаженными с вероятностью 1 −τ, но помеха действует таким образом, что подвергшийся ей символ с вероятностью τ принимает третье значение x, отличное от 0 и от 1. Такая помеха называется стиранием. При этом номера позиций, где произошли стирания

известны. В этом главное отличие стираний от ошибок, когда номера искаженных символов неизвестны.

Тривиальным методом исправления l стираний является подстановка на (известные!) стертые позиции всех возможных

2l комбинаций из нулей и единиц и выбор из них единственной

правильной комбинации, которая заведомо существует. Имеет место

Утверждение 0.3.1. Для исправления любых l стираний необходимо и достаточно чтобы, минимальное расстояние кода удовлетворяло условию

Д о к а з а т е л ь с т в о. Пусть выполняется условие d ≥ l + 1. Заменим все t стертых символов всеми возможными

2l способами символами 0 и 1. Тогда одна и только одна комбинация l нулей и единиц восстановит принятый вектор в вектор

переданный. Но любая другая ошибочная замена будет обнаружена, так как она будет находиться на расстоянии не более, чем d − 1 от истинной. Наоборот, при d < l + 1 найдется такая ошибочная замена, которая не будет обнаружена, и произойдет ошибка декодирования.

Можно воспользоваться таким рассуждением. Пусть принятый вектор a содержит l ≤ d−1 стираний, и пусть код A имеет минимальное расстояние d. Такой код содержит в точности один вектор u, совпадающий с принятым вектором a в неискажённой его части. Действительно, если найдётся ещё один вектор v с таким свойством, то окажется, что d(u, v) = l ≤ d − 1 < d, что противоречит условию.

Рассмотрим случай, когда в канале при передаче могут возникнуть искажения обоих видов, т.е. одновременно, ошибки и стирания. Имеет место

Утверждение 0.3.2. Для исправления любых t независимых ошибок и одновременно любых l (независимых) стираний необходимо и достаточно чтобы, минимальное расстояние кода удовлетворяло условию

Д о к а з а т е л ь с т в о. Пусть в принятом векторе a, кроме t ошибок, имеется l стёртых символов. Удалим из вектора a, равно как и из всех остальных векторов кода A все те компоненты, в которых размещены стирания вектора a. Получится новый

код A′ с параметрами n′ = n − l, d′ ≥ d − l. Этот код исправляет любые независимые ошибки кратности t ≤ [(d − l − 1)/2] и менее. Когда ошибки будут исправлены, мы возвратимся к коду A, которому принадлежит принятый вектор a содержащий теперь уже только стирания. Их мы умеем исправлять, применяя предыдущие соображения.

Сравним три знакомых нам соотношения (0.3.8),(0.2.4), (0.3.7) Второе получается из первого, если есть только ошибки, и нет стираний, а третье получается из первого, если есть только стирания, и нет ошибок.

Иными словами, если минимальное расстояние кода есть d, то при отсутствии стираний код исправляет любые t ≤ (d−1)/2 независимых ошибок, а при отсутствии ошибок исправляет любые l ≤ d − 1 стираний. Наконец, при наличии не более чем l стираний код с расстоянием d исправляет любые t ≤ [(d − l −

1)/2] или менее независимых ошибок. 3 Исправление стираний будет обсуждаться также в гл. 6.

Все семь столбцов матрицы различны, и из всех возможных восьми столбцов длины 3 отсутствует нулевой столбец.

Пусть код A состоит из всех таких векторов, скалярное произведение которых на каждый из трех векторов-строк

(0111100) = z1, (1110010) = z2, (1101001) = z3

матрицы H равно нулю. Этому условию удовлетворяет, например, вектор u = (1000011) :

(1000011)z1 = 1 · 0 + 0 · 1 + 0 · 1 + 0 · 1 + 0 · 1 + 1 · 0 + 1 · 0 = 0, (1000011)z2 = 1 · 1 + 0 · 1 + 0 · 1 + 0 · 0 + 0 · 0 + 1 · 1 + 1 · 0 = 0, (1000011)z3 = 1 · 1 + 0 · 1 + 0 · 0 + 0 · 1 + 0 · 0 + 1 · 0 + 1 · 1 = 0.

(0.4.10) На самом деле (0.4.10) изображает операцию uHT = 0, т.е.

умножение вектора u на матрицу HT , где индекс T означает транспонирование.

Положим, что при передаче вектора u данного примера

произошла одиночная ошибка, например, в четвертом разряде вектора, и на приемном конце принят вектор v = u + e =

(1000011) + (0001000) = (1001011). Тогда, выполнив на приемном конце умножение принятого вектора на транспонирован-

ную матрицу H, получим

vHT = uHT + eHT = eHT = (101),

а это есть четвертый слева столбец матрицы H. Его номер указывает на то, что при передаче был искажен четвертый символ

3Когда ниже в тексте будет введён в обращение q ичный, а не только двоичный, канал, читатель поймёт, что предыдущие рассуждения об ис-

правлении ошибок и стираний, а также обнаружении ошибок, останутся справедливыми.

кодового вектора. Вектор-ошибка при умножении принятого вектора v на транспонированную матрицу H "вырезал" имен-

но тот столбец матрицы, номер которого указывает на номер искаженного символа кодового вектора.

Изменим теперь слегка матрицу (0.4.9), расположив ее столбцы в лексикографическом порядке.

Примечательной чертой такого нового расположения столбцов является то, что при любой одиночной ошибке в принятом век-

торе v результатом умножения vHT будет в точности двоичный номер искаженного разряда кодового вектора. В общем случае матрица H содержит m строк и n = 2m −1 ненулевых столбцов, которые все различны. Код A, все векторы которого, умноженные скалярно на строки матрицы H, дают нуль, называется

кодом Хэмминга. Он содержит 22m−1−m кодовых векторов, его кодовое расстояние равно трем, он исправляет все одиночные

ошибки, или обнаруживает все двойные независимые ошибки. Подробнее этот код будет обсуждаться в главе 4.

Для построения кодов с более высокими корректирующими возможностями придется обратиться к накоплению новых алгебраических средств.

Предварительно зададимся вопросом: нельзя ли, все-таки, для повышения надежности передачи сообщений обойтись иными средствами, а не алгебраическими? Быть может, стоит всегонавсего увеличить энергию сигнала — и помеха будет подавлена. Порой это сделать нельзя из-за дефицита энергии, но даже и при избытке таковой обойтись без средств кодирования, в том числе и алгебраического, бывает невозможно. Например, при использовании спутниковой связи, когда неизбежна кон-

центрация нескольких каналов связи в одной точке, усиление энергии сигнала может привести к взаимному влиянию каналов и наведению помех одним каналом в другом.

0.5. Задачи к введению

0.1. Доказать утверждение: для того, чтобы код исправлял любые комбинации t или менее ошибок, и одновременно обнару-

живал все комбинации t′ ≥ t или менее ошибок, необходимо и

достаточно, чтобы кодовое расстояние d удовлетворяло усло-

вию d ≥ t + t′ . 0.2. Доказать, что код Хэмминга исправляет любые два или менее стираний.