Свойства оптимальных кодов:

1) Если все сообщения равновероятны, то оптимальным будет равномерный код. При этом, если количество сообщений равно целой степени двойки, то средняя длина кодового слова будет равна энтропии.

2) Слова с одинаковой вероятностью имеют одинаковую длину.

3) Кодовые слова с наименьшей вероятностью имеют наибольшую длину.

4) Если кодовый алфавит состоит из k символов, тогда средняя длина кодового слова lср=H/log₂K.

5) Можно рассчитать коэффициент сжатия кода

µ=Hmax/(lср*log₂K)

для двоичных кодов µ=Hmax/lср.

Коэффициент относительной эффективности кода kоэ= H/(lср*log₂K).

7. Основные понятия помехоустойчивого кодирования.

Помехоустойчивым кодированием наз. код, позволяющий обнаружить или исправить ошибки в кодовом слове.

Геометрическая модель кода строиться в виде куба.

Ребро куба, соединяющее 2 кодовые комбинации наз. кодовым переходом. Кодовым расстоянием 2-х кодовых слов наз. min количество кодовых переходов, разделяющих 2 этих слова, обозначается буквой d и наз. расстоянием Хэмминга.

Если dmin=1, то код является безизбыточным. Для таких кодов обнаружить ошибку нельзя. Очевидно, что кодовое расстояние должно быть больше 1. Это означает, что для передачи сообщения используется только часть кодовых слов и эти слова наз. разрешенными, остальные запрещенными.

Задача помехоустойчивого кодирования заключается в следующем: необходимо определить как соотносятся способность обнаруживать и исправлять ошибки с избыточностью. Для этого определим задачу кодирования: при получении сообщения из k-символов требуется составить кодовое слово из n-символов, позволяющее обнаружить и/или исправить ошибки. K-символы являются передаваемым сообщением, оставшиеся избыточные символы – r. Символы (r=n-k) являются проверочными.

Рассмотрим соотношения, связывающие k, n, r.

1. Для обнаружения и исправления единичной ошибки должно выполняться условие:

2^r≥ n+1 или

2. Для кодов, обнаруживающих трехкратные ошибки:

r≥1+log₂(n+1) или r≥ 1+log₂((k+1) + log₂(k+1))

3. Для кодов, исправляющих s ошибок: