Оптимальное кодирование. Основные понятия и определения.

Рассмотрим схему передачи информации от источников сообщений:

Чтобы эффективнее и экономичнее использовать канал связи, следует так преобразовывать порожденную информацию, чтобы на ее передачу по каналу затрачивалось минимально возможное время. Такое преобразование информации называется кодированием источников сообщений.

В настоящее время эта задача решена для источников без памяти.

Источник: [А; p(S)], A=(a₁…a_n). Кодер [В; p(S)] для источника обладает алфавитом B=(b₁…b_D), |B|=D - мощность.

Кодирование – отображение φ: a_i→ =(b_j1…b_jk), где – кодовое слово.

При этом, если a_i≠a_j, то ≠ .

Совокупность всех кодовых слов { }– код.

Код равномерный (блоковый), если длины всех кодовых слов равны, и неравномерный в противном случае.

Код однозначно декодируемый (разделимый), если существует метод однозначного разделения на отдельные кодовые слова последовательности букв алфавита В, полученные на входе декодера.

Рассмотрим кодовое слово =(b_j1…b_jl), начальная часть этого слова b_j1…b_ji, где i= – префикс.

Говорят, что код является префиксным, если никакое кодовое слово не совпадает с началом другого кодового слова. Всякий префиксный код однозначно декодируемый.

Преимущество: декодирование осуществляется без задержек в ходе поступления букв алфавита в декодер.

Однозначная декодируемость неравномерного кода.

Декодируемость неравномерного кода. Рассматриваются возможные пары кодовых слов, в которых одно слово – префикс другого. Если таких пар нет, то в силу вышеизложенного код – префиксный, а, следовательно, однозначно декодируемый. Если такие пары есть, то для любой такой пары найдем «повисший» суффикс, который остается после удаления префиксного слова из начальной части слова.

Выпишем все повисшие суффиксы и проделаем то же самое для каждой пары слов из повисшего суффикса и кодового слова, в которой одно слово – префикс другого. Выпишем все новые повисшие суффиксы, которые при это получатся.

Код однозначно декодируемый когда никакой суффикс не совпадает ни с одним кодовым словом.

Построение префиксных кодов

Необходимое и достаточное условие существования префиксных кодов

Методы построения префиксных кодов. Метод Фано.

Метод Рене Фано

1. Буквы алфавита А упорядочиваем по убыванию вероятностей:

2. Множество упорядоченных букв разбивается на 2 подмножестваА⁽⁰⁾ и А⁽¹⁾с помощью некоторого порогового целого числа так, чтобы

достигала наименьшего возможного значения. Буквам из подмножества А⁽⁰⁾ приписываем нули. Буквам подмножества А⁽¹⁾ приписываем единицы.

3. Если подгруппы А⁽⁰⁾ и А⁽¹⁾ состоят более чем из 2 букв, то разбываем множество букв каждой из подгрупп на 2 подгруппы. А⁽⁰⁰⁾,А⁽⁰¹⁾, и А⁽¹⁰⁾,А⁽¹¹⁾cоотвественно с помощью пороговых целых чисел 1<=k⁽¹¹⁾<=k⁽¹⁾-1 и k⁽¹⁾<=k⁽¹²⁾<=n-1так, чтобы величины

достигали наименьших возможных значений

Приписывание букв. Буквам из подгруппА⁽⁰⁰⁾ и А⁽⁰¹⁾ приписываем нули, а из А⁽¹⁰⁾,А⁽¹¹⁾ – единицы.

Если подгруппа A^(I,j), i,j=0,1 состоит более чем из одной буквы, то переходим к шагу 4. Если все подгруппы состоят из одной буквы, то переходим к шагу 5.

4. Если есть подгруппы, состояние более чем из 1 буквы , то разбиваем каждую из них на 2 подгруппы. Исходя из соотношений аналогично (1,2,3). Буквам подгрупп с нулевыми посл индексами приписываем 0. Буквам подгрупп с 1 посл индексами приписываем 1. Если есть подгрсост более чем из 1 буквы то повторяем шаг 4. Если все образовавшиеся подгруппы состоят из 1 группы, то переходим к шагу 5.

5. Если образовавшиеся подгруппы состоят из 1 буквы, то последовательно, начиная с последней метки, выписываем нули и единицы, относящиеся к каждой букве алфавита А. В итоге получается двоичный префиксный код для заданного источника с алфавитом А.

lср = =…