Параметры эффективности оптимальных кодов

Таких параметров 2: коэффициент статистического сжатия и коэффициент относительной эффективности. Оба параметра характеризуют степень уменьшения средней длины кодового слова. При этом средняя длина кодового слова сравнивается с минимально возможной средней длиной кодового слова.

3. Коэффициент статистического сжатия K_cc:

Здесь k и m – объемы первичного и вторичного алфавитов. log₂m учитывает объем вторичного алфавита. Для двоичных кодов (наиболее частый случай) log₂m=1.

Ксс характеризует степень использования неодинаковости вероятностей появления букв для снижения средней длины кодового слова.

Чем Kcc больше, тем лучше используется неодинаковость вероятностей для уменьшения средней длины кодового слова.

4. Коэффициент относительной эффективности рассчитывается по формуле:

Коэ характеризует степень приближения n_ср данного кода к минимально возможному значению, равному Н/log₂m.

Согласно основной теореме кодирования для канала связи без шума при кодировании отдельных символов и при кодировании блоков по L символов первичного алфавита. Следовательно, К_оэ <=1 и чем К_оэ больше, тем n_ср меньше и ближе к теоретически минимально возможному значению, тем код лучше.

Особенности эффективных кодов.

5. Букве первичного алфавита с наименьшей вероятностью появления ставится в соответствие код с наибольшей длиной (лемма 1), т.е. такой код является неравномерным (с разной длиной кодовых слов). В результате, если моментами передачи сообщения от источника приемник управлять не может (например, кодовые слова поступают строго периодически с шагом ), через линию связи будут передаваться кодовые слова с разной длиной, т.е. количество передаваемых в единицу времени через линию связи букв вторичного алфавита будет меняться. Учитывая то, что любая линия связи характеризуется максимальной скоростью передачи информации (пропускной способностью), приходим к выводу, что при использовании такой схемы передачи информации пропускная способность линии связи будет использоваться не в полной мере. Избежать неэффективного использования линии связи можно, установив на ее входе и выходе буферные накопительные запоминающие устройства. Они позволяют сгладить неравномерность поступления букв вторичного алфавита как через линию связи, так и на вход декодирующего устройства. При этом во всей системе передачи информации возникают временные задержки и, чем объем буферного устройства выше, тем эти задержки выше.

1. Вторая особенность связана с временными задержками в передаче информации, возникающими при использовании кодирования блоков букв первичного алфавита, которые, как следует из теоремы 4, позволяют увеличить эффективность кода (уменьшить среднюю длину кодового слова). Кодирование блоков букв первичного алфавита требует их предварительного накопления. Отсюда и возникающие временные задержки.

2. Третья особенность заключается в том, что, как оказывается, эффективные коды не предназначены для использования в условиях помех. Если же все-таки по какой-либо причине, например, в результате электрической помехи от грозового разряда, какой-то символ кодового слова исказится, правильное декодирование становится невозможным не только для этого кодового слова, но и для целого ряда следующих за ним кодовых слов. Возникает так называемый трек ошибки. Таким образом, улучшив одну из качественных характеристик кода, в данном случае среднюю длину кодового слова n_ср, ухудшается другая характеристика – устойчивость к действию помех. Эффективные коды надо использовать либо в условиях полного отсутствия помех, либо для устранения избыточности сообщения и подготовки с последующему помехоустойчивому кодированию.

3. Если , то H=n_срlog₂m. В этом случае энтропия, приходящаяся на 1 букву вторичного алфавита H_1букву=log₂m, совпадает с количеством информации по Хартли. Следовательно, буквы вторичного алфавита эффективного кода равновероятны и статистически независимы.