16. Код Хаффмана
Методика построения кода:
1. Буквы алфавита распол. в порядке убывания вероятностей.
2. Две последние буквы объединяются в одну вспомогательную букву, которой приписывается суммарная вероятность. В нашем примере: z6+z5. Pz5,6=0,17. Она бы, соответственно поднялась вверх по столбу вероятностей.
3. Вероятности букв, не участвующие в объединении и полученные суммарные вероятности снова располагаются в порядке убывания. Пункты 2-3 повторяются до тех пор, пока не будет получена единственная вспомогательная буква с вероятностью равной 1.
4. На втором этапе построения кода строится кодовое дерево. Для составления кодовой комбинации необходимо проследить путь перехода по строкам и столбцам таблицы. Из точки, соответствующей вероятности 1 выходят две ветви, ветвь с большей вероятностью, которой присваивается символ 1, а ветвь с меньшей – символ 0. На 3-ем этапе по кодовому дереву составляется кодовая комбинация для каждой буквы. Двигаясь по кодовому дереву от единицы, можно записать для каждой буквы соответствующую ей кодовую комбинацию.
Методы кодирования, когда кодируются сочленения букв, позволяют достигнуть максимального сжатия букв.
Средняя величина значков на каждую букву уменьшается.
17. Помехоустойчивое кодирование
1. Увеличение мощности полезного (передаваемого) сигнала, для того, чтобы его мощность значительно выделялась по сравнению с помехами.
2. Многократное повторение кодовых комбинаций.
3. Помехоустойчивое кодирование.
Теория помехоустойчивого кодирования базируется на второй теореме Шеннона: при любой скорости передачи двоичных сигналов меньше чем пропускная способность канала связи существует такой код, при котором вероятность ошибочного декодирования может быть сведена к минимальной. Если скорость передачи больше пропускной способности канала связи, то вероятность ошибки не может быть сделана произвольно малой.
На основе этой теории и разрабатываются помехоустойчивые (КОРРЕКТИРУЮЩИЕ) коды. Эти коды позволяют не только обнаружить ошибку в принимаемом сигнале, но и исправить ее.
Рассмотрим
двоичный код длиной n.
С помощью этого кода можно получить
число комбинаций
.
Ошибка при приеме этих комбинаций состоит в том, что в результате действия помехи вместо единицы можно принять ноль или вместо нуля – единицу. Когда в кодовой комбинации 1 знак заменяется другим, то такая ошибка наз. ОДИНОЧНОЙ, два – ДВОЙНОЙ и т. д. Если в процессе передачи используется всё число комбинаций N, то ошибка любой кратности остается незамеченной, так как при этом одна из возможных комбинаций переходит в другую кодовую комбинацию, которая является так же допустимой и разрешенной.
Для того, чтобы можно было обнаружить одиночную ошибку необходимо, чтобы комбинации различались между собой не менее чем в двух знаках. Из всех возможных комбинаций для кодирования используется только половина.
18. Характеристики каналов связи
В зависимости от вида передаваемого сигнала каналы передачи: Непрерывные: совокуп. средств для передачи непрерывных аналоговых сигналов и Дискретные
Информационная модель каналов с помехами задается множеством символов на его входе-выходе и описанием вероятности передачи информации отдельных символов. Канал может иметь множество состояний и переходить из одного состояния в другое как с течением времени, так и в зависимости от последовательности передаваемых символов.
Состояние канала характеризует матрица условных вероятностей P(xi|yi), что обозначает что икс будет передан как игрек. Значение условных вероятностей зависит от многих факторов свойств сигналов, метода кодирования, наличия случайных помех в канале, принципа декодирования сигналов.
Если переходные вероятности не зависят от времени, то канал наз. СТАЦИОНАРНЫМ каналом. В НЕСТАЦИОНАРНОМ канале переходные вероятности изменяются с течением времени. В том случае, когда переходные вероятности зависят от предыдущего состояния, то канал наз. КАНАЛОМ С ПАМЯТЬЮ. Иначе его наз. КАНАЛОМ БЕЗ ПАМЯТИ.
Стационарный дискретный двоичный канал без памяти определяется четырьмя условными переходными вероятностями P(0|0), P(0|1), P(1|0), P(1|1). Из этих четырех вероятностей P(0|0) и P(1|1) – вероятности неискаженной передачи символов 1 и 0, а две другие – вероятности искажения символов 1 и 0. Когда вероятности искажения символов P(1|0) P(0|1) равны, канал носит название двоично-симметричного канала.
Скорость передачи информации по каналу связи – одна из важнейших его характеристик. Технической скоростью или Vт является скорость, соответствующая числу элементарных символов, передаваемых по каналу в единице времени. Техническая скорость иногда наз. скоростью манипуляций. Единица измерения: бод – это скорость, при которой за одну секунду передается один символ. Скорость передачи информации определяется средним количеством информации, которая передается по каналу за единицу времени, она зависит от следующих факторов:
1) характеристик канала связи;
2) объема алфавита символов;
3) технической скорости передачи;
4) статистических свойств помех;
5) вероятности поступления на вход символов и их статической взаимосвязи.