2. Основные характеристики кода

Дадим основные определения. Кодом длины называется любое подмножество двоичных слов длины

.

Для передачи используются только слова , принято может быть из-за искажений, вообще говоря, любое слово . После приема слова к нему применяется некоторый алгоритм декодирования, сопоставляющий слову слово . Если оказалось, что , то говорят, что исправляет ошибки.

Чтобы описать действие помех при передаче и процедуру декодирования, на множестве двоичных слов вводится метрика. Расстоянием между двоичными словами называется количество разрядов, в которых эти слова различаются:

.

Определенное таким образом расстояние удовлетворяет трем аксиомам метрики

1. ;

2. ;

3. .

Таким образом, множество двоичных слов становится метрическим пространством и в нем возможны обычные для метрических пространств построения: шар, сфера, точки ближайшие к данной и т.п.

Если передавалось слово , а принято слово , то равно количеству разрядов искаженных при передаче (число ошибок).

Будем предполагать, что вероятность искажения символа при передаче невелика (это обеспечивается техническими средствами канала связи, и, если вероятность искажения очень большая, то таким каналом нельзя пользоваться). Основываясь на некоторой вероятностной модели можно строго доказать, что наилучшим алгоритмом декодирования при сделанных предположениях будет следующий:

если принято слово , то считаем, что передавалось слово , ближайшее к слову .

Такой метод принятия решения в условиях неопределенности называют методом максимального правдоподобия. В рассматриваемой ситуации это название можно объяснить так: после того, как принято слово , для каждого слова вычисляются вероятности того, что слово получено в результате искажений из слова , из этих вероятностей выбирается наибольшая (максимум правдоподобия).

Всюду в дальнейшем мы будем считать, что на приемном конце канала используется именно этот алгоритм декодирования.

Введем теперь главные параметры, характеризующие код.

Первым из них является мощность кода , то есть количество кодовых точек. Действительно, если код имеет мощность , то блоки информации, которые он кодирует должны иметь длину , такую, что , то есть . Примем физическую скорость передачи канала за единицу: передача одного двоичного символа занимает 1 единицу времени. Применив кодирование, мы получим, что двоичных символов передаются за единиц времени, то есть скорость передачи информации равна

бит/ед. вр.

Следовательно, чем больше мощность кода, тем большую скорость передачи информации он обеспечивает.

Вторым главным параметром кода является кодовое расстояние:

.

минимальное расстояние между кодовыми словами. Роль этого параметра выясняется в следующем утверждении.

Будем говорить, что код исправляет ошибок, если передаваемые слова, в которых искажено не более разрядов принимаются правильно (с учетом описанного выше алгоритма декодирования по методу максимального правдоподобия).

Теорема 1. Если , то код исправляет ошибок.

Доказательство. Пусть – переданное слово, – принятое слово, в котором имеется не более ошибочных разрядов, то есть .

Ясно, что и будет ближайшим к кодовым словом, так как для любого другого кодового слова имеем

.

Утверждение доказано.

Основной задачей теории кодирования является следующая:

для заданных , построить код максимальной мощности такой, что .