4. Корректирующие способности кодов. Границы мощности.

Очевидно, что параметры (n,M,d)-кода зависят друг от друга, отсюда следует, что для каких-то значений этой тройки параметров коды существуют, а для каких-то нет. В только что приведенном примере был построен (5,4,3)- код. Уже из определения таблицы декодирования и описанной выше схемы следует, что, например, (5,4,5)-код построить нельзя, так как для любого (5,4, d)- кода в столбце таблицы декодирования будет 7 элементов, а в шаре радиуса 2, который требуется для (5,4,5)-кода, 15 точек.

В этом разделе будут приведены несколько утверждений, которые помогают ответить на вопрос о существовании кода с заданными параметрами.

Но для начала сформулируем очевидное утверждение.

Опр. Код называется кодом, исправляющим t ошибок, если алгоритм декодирования правильно декодирует все слова, в которых при передаче по каналу произошло не более t ошибок.

Утв. (n,M,d)-код – код с исправлением ошибок.

Замечание. Есть еще коды, обнаруживающие ошибки.

Опр. Код называется кодом, обнаруживающим t ошибок, если в случае, когда

произошло не более t ошибок, декодер выдает сообщение об ошибке.

Утв. (n,M,d)-код обнаруживает ошибку.

Пусть A(n,d) – максимальная мощность кода в Bⁿ с расстоянием d.

Лемма. Пусть есть множество V=(α₁… α_k), . Также есть множество V’=(β₁… β_S), и для любых x,y V’: . Тогда множества не пересекаются.

Доказательство. От противного. Если два множества пересекаются, то существуют четыре вектора, для которых справедливо соотношение:

где , . Получило противоречие.

Лемма доказана.

Теорема. (Граница Хемминга) Справедливо соотношение:

Доказательство.

Пусть V=(α₁… α_k) – наш код, V’ = – шар радиуса t, тогда в этом шаре расстояние между двумя любыми точками не превосходит ρ .

Из леммы следует, что множества вида V y, где y V’, не пересекаются, но тогда

.

По определению и получим искомое неравенство.

Теорема доказана.

Теорема (Граница Джоши). Справедливо соотношение:

.

Доказательство. Пусть V – код с расстоянием d, , V’ – множество всех векторов y, у которых первые d-1 компонент произвольные, а остальные нули, т.е y= . Тогда , для любых x,y V’: .

Снова из леммы получаем

.

Теорема доказана.

Теорема (Варшамова-Гильберта). Справедливо соотношение:

A(n,2t+1) .

Доказательство. Рассмотрим простую геометрическую аналогию. Пусть дан ограниченный отрезок [a,b]. Мы произвольным образом поочередно размещаем на нем отрезки длины d<(b-a) так, чтобы они не пересекались. Пусть мы размести k таких отрезков, а (k+1)-й уже не помещается. После этого мы, оставляя на месте центры размещенных отрезков, увеличиваем их вдвое. После этой операции на отрезке не останется пустого места, ведь, если бы оно было, то от любой точки на этом пустом месте, до центра одного из соседних размещенных отрезков было бы расстояние, большее 2d, а это противоречит тому, что (k+1)-й отрезок ранее уже не мог быть размещен.

На этом факте и основано доказательство теоремы. Вместо отрезка берем булев куб Bⁿ и размещаем в нем шары . Таким образом будет построен код, кодовые точки которого соответствуют центрам размещенных шаров.

Построим код V^*следующим образом:

Итерации:

x¹ → V^*

x² → V^* \ S_t(x’)

…

p) x^p → V^* \

В какой-то момент очередной шар уже не поместится. Расстояние между любыми точками таким образом построенного кода равняется 2t, а шары радиуса 2t с центрами в этих точках покроют весь булев куб. Так как они могут пересекаться, то суммарное количество точек в этих шарах будет не меньше мощности куба, откуда и следует неравенство в теореме.

Теорема доказана.

Теорема (Плоткина). При условии, что 2d>n cправедливо соотношение:

.

Доказательство. Рассмотрим код . Построим таблицу.

k₁ k₂ k_n – количество единиц в каждом столбце.

Рассмотрим сумму расстояний между всеми кодовыми словами.

Здесь каждое расстояние подсчитано 2 раза. Тогда .

Заметим, что max x(S-x) достигается при x = S/2. Воспользуемся этим. Тогда справедливо соотношение:

( )

Кроме того, по условию . Поставим это неравенство в ( ):

. Отсюда следует nS≥2d(S-1) и

.

Теорема доказана.

Сведем полученные результаты на один график, по координатам которого даны отношения k/n d/2n. (Этот график можно найти в любой книге по теории кодов, исправляющих ошибки, например, в [8]).

k/n

П

0

0.1

0.2

0.3

0.4

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

0.156

Х

0.5

d/2n

ВГ

Соответствующие кривые, вытекающие из теорем, обозначены: ВГ- Теорема Варшамова-Гильберта, П- Теорема Плоткина, Х - Теорема Хэмминга.

Наш курс не преследует цели более или менее полного изложения теории кодов, исправляющих ошибки, поэтому мы приводим лишь самые основные результаты в достаточно простом изложении. Данный график может быть прокомментирован, хотя обоснования некоторых комментариев выходят за пределы нашего курса.

Комментарий к графику.

Из графика видно, что при постоянном отношении k/n и росте размерности куба границы для отношения d/n стремятся константе, не зависящей от этой размерности.

(n,M,d)-коды существуют только для тех значений параметров, которые лежат в заштрихованной области. Однако, не для любой точки в этой области (а каждой такой точке соответствует фиксированная тройка параметров n,M,d) известен (построен) (n,M,d)-код.

Ниже будут рассмотрены несколь примеров известных кодов, в частности коды Хэмминга и коды Боуза-Чоудхури-Хоквингема (БЧХ-коды). Они при больших скоростях передачи лежат на границе Хэмминга и являются оптимальными. Для малых скоростей БЧХ-коды лежат на границе Плоткина.

При средних скоростях для БЧХ-кодов отношение d/n стремится к 0, когда n неограниченно растет.

Неизвестны коды, для которых d/n остается конечным при росте n и фиксированном k/n, хотя граница Варшамова-Гильберта дает основание считать, что такие коды должны быть.

В следующем разделе будет доказана основная теорема Шеннона (теорема Шеннона для канала с шумом). Из нее следует, что при любой скорости k/n, меньшей пропускной способности канала 1-H(p), существуют коды, вероятность ошибки декодирования в которых может быть сделана сколь угодно близкой к нулю.

В целом, существующие коды, с теоретической точки зрения, далеки от оптимальных, поэтому теория кодирования до сих пор дает возможность исследователям получать интересные результаты.