3. Принципы помехоустойчивого кодирования

Рассмотрим, каким образом избыточное кодирование позволяет повысить верность передачи сообщений. Как отмечалось, для помехоустойчивых блочных равномерных кодов mⁿ > M. Это значит, что для передачи знаков сообщения используют лишь часть возможных последовательностей. Последовательности, используемые при кодировании, называют разрешенными кодовыми комбинациями, а все остальные - запрещенными. На вход канала поступают только разрешенные комбинации. Если при передаче кодовой информации bi помехи не вызовут ошибок, то на выходе канала возникнет такая же разрешенная комбинация. Если же один или несколько символов принимаются ошибочно, то на выходе канала может возникнуть одна из запрещенных комбинаций.

Таким образом, если комбинация на выходе канала оказывается запрещенной, то это указывает на то, что при передаче возникла ошибка. Отсюда видно, что избыточный код позволяет обнаружить, в каких принятых кодовых комбинациях имеются ошибочные символы.

Однако, существует вероятность того , что несмотря на возникшие ошибки, принятая последовательность кодовых символов окажется разрешенной комбинацией (но не той, которая передавалась). При разумном выборе кода вероятность необнаруженной ошибки (т.е. ошибки, которая переводит разрешенную комбинацию в другую разрешенную комбинацию) может быть сделана очень малой.

Если принята запрещенная кодовая комбинация , то, зная параметры канала, М можно определить, какая из разрешенных комбинацийb_j вероятнее всего передавалась, и произвести декодирование принятой комбинации b_j в комбинацию с b_i, тем самым возникшие ошибки будут исправлены.

При избыточном кодировании возможны два основных метода декодирования с обнаружением ошибок и их исправлением.

Сущность метода декодирования с исправлением ошибок заключается в том, что все множество В принимаемых последовательностей длины n разбивается на М непрерывающихся подмножеств: В₁, В₂,..., В_М. Если принята последовательность, принадлежащая подмножеству В_i, то считается, что передавалась кодовая комбинация b_i. Причем в подмножество В_i включается те запрещенные комбинации b_j, при приеме которых наиболее вероятной переданной комбинацией является bi.

При декодировании с обнаружением ошибок множество В разбивается на М + 1 подмножеств, из которых В₁, В₂,...В_М содержат каждое по одной (разрешенной) кодовой комбинации, а подмножество В_М+1 - все остальные (запрещенные) комбинации. В некоторых системах связи, принятая запрещенная комбинация просто сбрасывается и не поступает к получателю. Это обосновано в тех случаях, когда потеря, переданного сообщения значительно менее вредна, чем получение ложного сообщения.

Необходимо отметить, что правило декодирования с обнаружением ошибок однозначно определяется кодом (т.е. выбором разрешенных комбинаций) и не зависит от свойств канала. При исправлении ошибок, наоборот, возможны различные правила декодирования, выбор которого зависит от свойств канала.

Введем понятие расстояние Хэмминга. Расстоянием Хэмминга называется расстояние жду двоичными векторами, которое равно числу составляющих, в которых они

, (10)

где и обозначают сложение и вычитание по модулю 2 (1 + 0 = 0 + 1 = 1, 1 + 1 = 0 + 0 = 0).

Говорят, что в канале произошла ошибка кратности q, если в кодовой комбинации q символов приняты ошибочно. Легко видеть, что кратность ошибки есть не что иное, как расстояние Хэмминга между переданной и принятой кодовыми комбинациями, или, иначе вес вектора ошибки.

Рассматривая все разрешенные кодовые комбинации и определяя кодовые расстояния между каждой парой, можно найти наименьшее из них d = min d(i ; j), где минимум берется по всем парам разрешенных комбинаций. Это минимальное кодовое расстояние является важным параметром кода. Очевидно что для простого кода d =1.

Обнаруживающая способность кода характеризуется следующей теоремой:

Если код имеет d > 1 и используется декодирование по методу обнаружения ошибок, то все ошибки кратностью q < d обнаруживаются. Что касается ошибок кратностью q d, то одни из них обнаруживаются, а другие нет.

Доказательство: Кодовое расстояние между посланной и принятой комбинацией равно q. Следовательно, если q < d, принятая комбинация не может быть разрешенной, т.к. это противоречило бы определению d. Поэтому она будет принадлежать подмножеству запрещенных комбинаций, т.е. ошибка будет обнаружена. При q d принятая комбинация может оказаться разрешенной и ошибка останется необнаруженной, но часто и в этом случае принятая комбинация оказывается запрещенной и ошибка обнаруживается.

Процесс исправления ошибок рассмотрим сначала для симметричного канала без памяти. В таком канале вероятность правильного приема символа 1- р не зависит от того, какой символ передается, а также от того как приняты остальные символы.

Вероятность того, что вместо переданного символа b_i будет принят равна. Используя теорему умножения вероятностей независимых событий и то, что для переходаb_i в необходимо, чтобы на определенныхd(i ; j) разрядах произошли определенные ошибки, а на остальных разрядах символы были приняты верно, определим вероятность получения на выходе канала комбинацию, если на вход подана комбинацияb_i:

(11)

Таким образом, в симметричном канале без памяти зависит только от кодового расстояния междуb_i и bj. Вероятность принять комбинациютем больше, чем меньше ее кодовое расстояние от переданной комбинацииbi.

Задачей декодера является принятие решения о том, какая кодовая комбинация передавалась, если принята комбинация . Решение, принимаемое декодером, не всегда верное. Однако можно добиваться минимума вероятности ошибочного декодирования.

Пусть P(b_i | b_j) - условная вероятность того, что передавалась комбинация b_i, если принята комбинация . Эту условную вероятность называют апостериорной вероятностью. Априорной вероятностью P(b_i) называют вероятность того, что передается b_i, когда ничего еще не известно о принятой комбинации. Предположим, что декодер по принятой комбинации решил, что передавалась комбинацияb_k. Вероятность того, что это решение верно равна . Чтобы эта вероятность была максимально возможной, декодер должен из всех возможных комбинацийb_i(i = 1,...,M) выбрать ту, для которой апостериорная вероятность максимальна. Правило декодирования по максимуму апостериорной вероятности имеет вид:

Из теории вероятности известно, что :

Формула Бейеса (12)

Если все разрешенные кодовые комбинации равновероятны P(b_i) = const = 1/M, то максимум апостериорной вероятности совпадает с максимумом условной вероятности , которую называютфункцией правдоподобия. Правило декодирования по максимуму правдоподобия:

, (13)

а эта вероятность в симметричном канале без памяти определяется только кодовым расстоянием между b_i и b_j. Следовательно, в таком канале запрещенную комбинацию b_j следует декодировать, как разрешенную b_i, которая находится на наименьшем расстоянии от b_j. Т.е., в подмножество B_i следует включить все те комбинации , которые ближе (в смысле Хэмминга) кb_i.

Такое декодирование называют декодированием по наименьшему расстоянию или алгоритмом Хэмминга. Такое декодирование является оптимальным для симметричного канала без памяти.

Исправляющая способность кода при этом правиле декодирования определяется следующей теоремой.

Если код имеет d > 2 и используется декодирование с исправлением ошибок по наименьшему расстоянию, то все ошибки кратностью q < d/2 исправляются.

, (14)

где q₀ - кратность гарантированно обнаруживаемых сигналов в режиме, когда ошибки только обнаруживаются, q_n - кратность гарантированно исправляемых ошибок.

Величина d является основным показателем исправляющих и обнаруживающих свойств кода в симметричном канале без памяти (чем больше d тем меньше вероятность ошибочного декодирования и вероятность необнаруженной ошибки). Поэтому задача кодирования состоит в выборе кода, обладающего максимально достижимым d. Увеличивая длину кода n и сохраняя число кодовых комбинаций М, можно получить сколь угодно большое значение d. Проще всего это достигается повторением символов кодовых комбинаций. Однако такое решение задачи не представляет интереса, т.к. с увеличением n уменьшается возможная скорость передачи информации от источника. Если длина n задана, то можно получить любое значение d уменьшая число комбинаций М. Поэтому задачу поиска лучшего кода (в смысле максимального d) следует формулировать так: при заданных М и n найти код длины n, содержащий M комбинаций и имеющий наибольшее возможное d. В общем виде в теории кодирования эта задача не решена.

На первый взгляд помехоустойчивое кодирование реализуется весьма просто. В память кодирующего устройства (кодера) записываются разрешенные кодовые комбинации выбранного кода и правило по которому с каждым из M сообщений сопоставляется одна из таких комбинаций. Данное правило известно и на декодере. Получив от источника определенное сообщение, кодер отыскивает соответствующую ему комбинацию и посылает в канал. В свою очередь, декодер, приняв комбинацию, искаженную помехами, сравнивает ее со всеми М комбинациями списка и отыскивает ту из них, которая ближе остальных к принятой. Однако даже при умеренных значениях n такой способ весьма сложный.

Применение достаточно эффективных, (а значит и достаточно длинных) кодов при табличном методе кодирования и декодирования технически невозможно. Поэтому основное направление теории помехоустойчивого кодирования заключается в поисках таких классов кодов, для которых кодирование и декодирование осуществляется не перебором таблицы, а с помощью некоторых регулярных правил, определенных алгебраической структурой кодовых комбинаций. Один из таких классов представляют линейные коды.