Основные проблемы спс

1) повышение скорости передачи до предельной скорости;

2) повышение долговременности предельной скорости.

Канал без шума Канал с шумом

I ФТШ II ФТШ

Канал без шума (идеальный канал)

Согласование источника сообщения с каналом.

Предположим, что в дискретном канале вероятность возникновения ошибки близка к нулю. Это канал без шума.

Пропускная способность определяется как

С = Vk log M, где М – мощность алфавита.

Задача: Передать в таком канале без потерь и со скоростью, равной предельной, сообщение.

Для того чтобы скорость передачи сообщения была равна предельной, на входе канала должны действовать дискретные потоки с определенными статистическими характеристиками, которых максимизируют величину I (z, z*) – количество информации. То есть для случая идеального канала такой источник должен обладать максимальной энтропией или шумовой избыточностью.

Отсюда функцией кодера на входе канала является согласование в статистическом смысле источника сообщений с входом канала.

Задача в общем случае сводится к устранению избыточности сообщения, и кодер в этом случае осуществляет такое кодирование сообщения, при котором на входе канала подаются сообщения с повышенными статистическими свойствами.

Возможность кодера перекодировать сообщения с выхода источника в сообщение с типовой избыточностью и есть решение задачи, т.е. безошибочное передача со скоростью равной пропускной способности.

(*)

(**)

Степень приближения к точному выполнению (*), (**) зависит от степени снижения избыточности источника сообщения.

Кодирование, позволяющее устранить избыточность источников сообщений, называется эффективным или статистическим.

Теорема Шеннона

(Т) Для любой производительности источника сообщения меньшей ПС канала H(U)=C-E, где E – сколь угодно малая положительная величина, существует способ кодирования, позволяющий передавать все сообщения, выработанные источником.

(Т) Не существует способа кодирования, который обеспечивает передачу сообщений без их неограниченного накопления H(U)>C.

Второй вариант на практике (Т) Шеннона приводится в другой формулировке:

(Т) Сообщение источника с энтропией H(U) всегда можно закодировать последовательными символов с объемом алфавита m так, что среднее число символов на знак сообщения будет сколь угодно близко отношению p(a)=р(б)=…=р(я).

С помощью 4 бит можно закодирова 16 букв.

Данное утверждение обосновывается также указанием на возможную процедуру кодирования, при которой обеспечивается равномерное и неравномерное поступление символов на вход канала, а следовательно и максимальное количество переносимой из них информации, равной log₂ H

Этого можно достичь, если кодировать сообщение длинными блоками.

В частности при двоичном кодировании m=2 среднее число символов на знак сообщения может быть уменьшено до значения равного энтропии источника.

Замечание к теореме.

Теорема не указывает конкретного способа кодирования, но из нее следует, что при выборе каждого символа код своей комбинации должен сделать так, чтобы он нес максимальную информацию.

Отсюда каждый символ должен принимать значения 0 и 1 с равной вероятностью и каждый выбор должен быть независим от предыдущего символа.

Для случая отсутствия статистической зависимости между знаками текста первое решение по построению таких кодов были даны Шенноном и Фано.

Код Шеннона–Фано строится следующим образом:

- Значения алфавита в сообщении выписывается таблица в порядке убывания вероятностей, затем их разделяют на две группы так, чтобы вероятность вероятности каждой из групп были по возможности одинаковыми.

- Всем знакам верхней группы (половина) в качестве pro символа присваиваются нули, а ниже половины – один.

- Каждую половину снова делят на две подгруппы с одинаковой суммой вероятностей.

- Процесс повторяется до тех пор, пока в каждой группе останется по одному символу.

Недостатком кода Шеннона–Фано является то, что алгоритм не всегда приводит к однозначному построению кода.

Метод Хаффмена отличается от метода Шеннона-Фано тем, что первый гарантирует однозначное кодирование с наименованием для данного распределения вероятностей средним числом символов на букву.

Алгоритм построения кода методом Хаффмена можно представить в следующем виде:

Шаг 1: выписывать в первый столбец таблицы все буквы первичного алфавита в порядке убывания их вероятностей. Второй столбец соответственно вероятности этих букв.

Шаг 2: Последние два символа с наименьшими вероятностями объединить в некоторую промежуточную букву, вероятность которой равна сумме вероятностей этих двух букв.

Шаг 3: Упорядочить получившийся промежуточный алфавит в порядке убывания вероятностей и записать в столбец таблицы. Снова перейти на Шаг 2, если в промежуточном алфавите больше, чем одна буква.

Шаг 4: Построить бинарное дерево вершиной которого является последний объединенный символ с вероятностью 1. Ветви ведут к узлам, которыми является промежуточные символы преднося итерации и так далее, пока листьями дерева не станут символы первичного алфавита. От каждой вершины отходят по 2 дуги, которым соответствуют разные вероятности появляющимся символов. Дуга ведущая к наибольшей вероятности присваиваем 1. Дуге с наименьшей – 0.

Шаг 5: Строим код, начинаю от вершины, спускаемся по дугам к букве первичного алфавита, записывая ей в код значение дуг, то есть сопоставив код каждому символу получаем однозначное кодирование первичного алфавита.

Код Хаффмена является префиксным, это значит, что ни один код символа не является началом кода другого символа. Код Шеннона–Фано так же является префиксным.

Коды Хаффмена и Шеннона–Фано являются эффективными.

Эффективность заключается в том, что символ с наибольшей вероятностью появления присваивают код наименьшей длины, а символ с наименьшей вероятностью более длинный.