5.6.3. Основные задачи теории кодирования
При выборе кода в общем случае приходится решать две основные задачи теории кодирования.
Первая задача теории кодирования заключается в отыскании кода, обеспечивающего максимальную скорость передачи символов источника сообщения vис по каналу связи с заданной скоростью передачи элементов сигнала vс.
Если символы источника сообщений закодировать кодовыми комбинациями одинаковой длины n (равномерный код), то
и увеличение vис может быть достигнуто за счет уменьшения n.
Если символы источника неравновероятны, то можно осуществить более экономное неравномерное кодирование, присваивая наиболее вероятным символам сообщения КК меньшей длины, а наименее вероятным – более длинные КК. Тогда у неравномерного кода средняя длина кодовой комбинации:
в общем случае меньше n и ИС может выдавать символы со средней скоростью
Таким
образом, решение первой задачи
теории кодирования
заключается в отыскании
неравномерного кода, имеющего минимальную
среднюю
длину кодовой комбинации
.
Вторая задача теории кодирования связана с выбором кода, обеспечивающего наименьшую вероятность ошибки при передаче символа источника сообщения хk.
Для решения второй задачи теории кодирования надо использовать избыточное кодирование. В этом случае врезультате ошибки в одном или нескольких разрядах принятой КК может сформироваться как разрешенная, так и запрещенная КК. Если сформируется разрешенная КК, то переданный символ будет принят неправильно, а если запрещенная КК, то ошибка может быть обнаружена или исправлена.
При декодировании с обнаружением ошибок потерянные символы частично или полностью можно восстановить путем их повторной передачи. Потеря информации здесь возможна из-за появления необнаруженных ошибок, т.е. ошибок, приводящих к формированию разрешенных кодовых комбинаций. Поэтому для уменьшения вероятности ошибки надо выбирать код, имеющий большой процент запрещенных кодовых комбинаций, что возможно только при увеличении числа избыточных символов, а значит, при увеличении длины КК.
Таким образом, для решения второй задачи теории кодированиянадо увеличивать длину КК, что противоречит решению первой задачи теории кодирования.
Для разрешения этого противоречияв настоящее времяприменяют:
- примитивные равномерные или неравномерные коды для кодирования символов алфавита ИС и формирования первичной кодовой последовательности;
- помехоустойчивые коды для кодирования первичной кодовой последовательности с целью обеспечения требуемой помехоустойчивости передачи символов сообщения.
Примитивные равномерные коды применяются либо при равновероятности использования символов алфавита ИС, либо при неизвестных вероятностях их использования. Если же использование символов алфавита ИС неравновероятно, то применяют неравномерное кодирование. Из неравномерных кодов наибольшее распространение в системах связи получили коды Шеннона-Фано и Хаффмена. Код Хаффмена является оптимальным в том смысле, что нельзя построить код с меньшей избыточностью, т.е. с меньшей средней длиной кодовой комбинации [8, 11].
Символы алфавита ИС можно кодировать помехоустойчивым кодом, но это приводит к существенному усложнению ОА. В настоящее время для кодирования символов алфавита ИС помехоустойчивым кодом используется несистематический блочный код МТК № 3. В этом коде одиночная ошибка при приеме КК всегда обнаруживается.