2 Обнаружение ошибок в кодах Хемминга

Ошибка на выходе из канала связи может быть обнаружена и исправлена так (для построенного кода – не больше одной в каждом элементарном коде). Номер позиции S (записанный в двоичной системе), в которой произошла ошибка, определяется так:

S = S_k… S₂ S₁ ,

где S_i определяется по формулам (4) для элементарного кода, полученного на выходе канала связи. Если ошибки нет, то S_i = 0 и общий результат S = 0.

Пример 1: Пусть на вход канала связи поступил элементарный код 0110011 (т.е закодировано **1*011 (поз. 3,5,6,7– информационные, а контрольные члены заменены * )). На выходе получено 0110001 (искажен 6–й член элементарного кода). Вычислим S.

S₁ = ₁ + ₃+ ₅ + ₇ = 0 + 1 + 0 + 1 = 0 ( mod 2),

S₂ = ₂ + ₃+ ₆ + ₇ = 1 + 1 + 0 + 1 = 1 (mod 2),

S₃ = ₄ + ₅ + ₆ + ₇ = 0 + 0 + 0 + 1 = 1 (mod 2).

S = 1 1 0 = 6 (в десятичной системе).

Пример 2: Пусть на выходе получено 0111011 (искажен 4–й (контрольный) член элементарного кода).

S₁ = ₁ + ₃+ ₅ + ₇ = 0 + 1 + 0 + 1 = 0 ( mod 2),

S₂ = ₂ + ₃+ ₆ + ₇ = 1 + 1 + 1 + 1 = 0 (mod 2),

S₃ = ₄+ ₅ + ₆ + ₇ = 1 + 0 + 1 + 1 = 1 (mod 2).

S = S₃ S₂ S₁=1 0 0 = 4 (в десятичной системе).

Тогда восстановленное сообщение имеет вид: 0110011, а исходное сообщение – 1011 (удалены контрольные члены, выделенные цветом)

3 Декодирование

После получения закодированного сообщения происходит его разбивка на элементарные коды, вычисление для каждого кода S и в случае его неравенства 0 – корректировка соответствующего информационного члена (если S указывает на контрольный член, то корректировка не нужна). После удаления всех контрольных членов получаем исходное сообщение.

Примечание: Рассмотрено построение кодов Хемминга для бинарного кодирования и допустимом числе ошибок в элементарных кодах не более одной. Существует теория для построения таких кодов для равномерного кодирования любой арности и числе ошибок не более 2, 3,… и. д.

Алфавитное кодирование с минимальной избыточностью

Пусть задано алфавитное кодирование со схемой 

a₁ B₁

a₂ B₂

a₃ B₃

….

a_r B_r

Слова B_i заданы в алфавите O ={b₁,b₂,b₃….b_q } , где q – число букв алфавита O l_i = l (B_i) ( i= 1,…,r ) ( длины элементарных кодов).

Теорема 1 Если алфавитное кодирование со схемой  обладает свойством взаимной однозначности, то выполняется следующее неравенство (неравенство Макмиллана):

(5)

Теорема 2 Если l_i целые числа, удовлетворяющие неравенство (5) , то существует алфавитное кодирование со схемой , обладающей свойством префикса и для которого l (B₁) = l₁, …, l (B_r) = l_r .

Пояснения.

1. Неравенство Макмиллана является необходимым и достаточным условием существования алфавитного кодирования, у которого схема обладает свойством префикса и длины элементарных кодов равны соответственно l₁, l₂,…, l_r .

2. Нельзя построить схему алфавитного кодирования, обладающую свойством взаимной однозначности, если неравенство (3.5) нарушено.

3 Теоремы 1 и 3 не дают полного алгоритма построения схемы алфавитного кодирования, обладающей свойством взаимной однозначности (если выполняется неравенство 5 – такая схема существует и можно продолжать ее построение, используя другие свойства и теоремы).

Рассмотрим кодирование информации в компьютере. Исторически сложилось, что компьютерный алфавит элементарных кодов O ={ b₁,b₂ …} состоит только из двух символов {0, 1} т.е. q = 2. При алфавитном кодировании (кодировании символов) используются элементарные коды одинаковой длины равной 8. В этом случае автоматически решается вопрос взаимной однозначности схемы кодирования (алгоритм декодирования следующий – закодированное сообщение разбивается с конца или начала на фрагменты по 8 символов, каждому из фрагментов соответствует символ входного алфавита). Максимальное значение r , для которого выполняется неравенство (5) определяется из уравнения r = q ⁸; 2⁸=256 . Другими словами, при такой схеме кодирования можно закодировать алфавит I максимум из 256 символов. В данном случае код сообщения будет в 8 раз длиннее самого сообщения. В общем виде превышение длины кода сообщения над длиной самого сообщения определится из формулы (длина элементарных кодов одинакова):

l = ]log_q r [ (наименьшее целое число не меньшее логарифма r по основанию q). Если схема кодирования такова, что элементарные коды имеют различную длину, то можно говорить о величине среднего превышения длины кода над длиной самого сообщения:

где l_i = l (B_i) (6)

Если имеется статистика о вероятности появления символов входного алфавита

I={ a₁,a₂ ,…, a_r } в сообщениях, p₁, p₂, …p_r соответственно, то формула (6) примет вид:

(7)

Эта характеристика может изменяться как при переходе от одной схемы кодирования к другой, так и при изменении вероятностных характеристик источника сообщений. Введем для фиксированного источника сообщений характеристику l^.

l^ = (8)

В формуле (8) минимум берется по всем схемам кодирования , обеспечивающим свойство взаимной однозначности.

Оценим интервал значений l_ср для схем кодирования , обеспечивающих свойство взаимной однозначности.

1 ≤ l_ср ≤ ]log_q r [ (9)

Верхнюю оценку дает кодирование с элементарными кодами одинаковой длины, нижнюю – простая замена одних символов другими (можно наблюдать при просмотре Web –страниц с неправильной кодировкой). Значит при поиске оптимальной (в смысле минимизации l_ср) схемы кодирования, схемы, у которых l_ср > ]log_q r [ можно сразу исключить из рассмотрения. В соответствии с формулой (7) для предварительного определения длины элементарных кодов p_i l_i ≤ ]log_q r [ . Поскольку при вычислении члены суммы с p_i = 0 не играют роли, то, положив p_ = min (p_i), имеем :

(10)

Определение. Коды, определяемые схемой  с l_ср = l^, называют кодами с минимальной избыточностью, или кодами Хаффмана.

Такие коды дают в среднем минимальное увеличение длин слов при кодировании сообщений заданного источника. Представляет практический интерес задача построения таких кодов (схем кодирования) для источника сообщений с фиксированными характеристиками (в силу вышеизложенного можно ограничиться рассмотрением только схем кодирования, обладающих свойством префикса).