Пример эффективного кодирования.

Следующий пример показывает, в каком случае возможно точное согласование передатчика с каналом. В канале имеются два символа 0 и 1, а шум воздействует на блоки из семи символов. Блок из семи символов либо передается без ошибок, либо в нем оказывается ошибочным один символ из семи. Все эти восемь возможностей равновероятны. Тогда имеем

Эффективный код, обеспечивающий полную коррекцию ошибок и передачу со скоростью С, представляет собой следующее (код найден по методу, предложенному Р. Хэммингом).Пусть блок состоит из семи символов Х₁, Х₂.,…,Х ₇. Из них Х₃, X₅, X₆, X₇ – символы сообщения и выбираются произвольно источником. Остальные три символа являются избыточными и вычисляются следующим образом

Х₄ выбирается так, чтобы →α = Х₄ + Х₅ + Х₆ + Х₇

Х₂ → → β =X₂ + X₃ + X₆ + X₇

X₁ → → γ = X₁ + X₃ + X₅+ X₇ были четными.

Когда принят блок из семи символов, вычисляются α, β, γ и, если какое-либо из них оказывается четным, то считаем его нулем, если же нечетным, то единицей. Двоичное число αβγ даст тогда индекс того Х_i, которое оказалось ошибочным (если получится 0, то блок принят без ошибок).

В качестве приложения рассмотрим пропускную способность m – ичного канала, повторив основные положения теории пропускной способности симметричного канала.

Пропускная способность m – ичного канала.

Введение понятий энтропии, количества информации, скорости выдачи информации источником, избыточности позволяют характеризовать свойства информационных систем. Однако для сравнения информационных систем только такого описания недостаточно. Обычно нас интересует не только передача данного количества информации, но передача его в возможно более короткий срок; не только хранение определенного количества информации, но хранение с помощью минимальной по объему аппаратуры и т.п.

Пусть количество информации, которое передается по каналу связи за время Т равно . Если передача сообщения длится Т единиц времени, то скорость передачи информации составит .

Это количество информации, приходящееся в среднем на одно сообщение. Если в секунду передается n сообщений, то скорость передачи будет составлять .

Пропускная способность канала есть максимально достижимая для данного канала скорость передачи информации:

[13]

Или максимальное количество информации, передаваемое за единицу времени:

Скорость передачи может быть технической или информационной.

Под технической скоростью V_T, называемой также скоростью манипуляции, подразумевается число элементарных сигналов (символов), передаваемых в единицу времени бод.

Информационная скорость или скорость передачи информации, определяется средним количеством информации, которое передается в единицу времени и измеряется (бит/сек). R=nH.

Для равновероятных сообщений составленных из равновероятных взаимно независимых символов

В случае если символы не равновероятны

В случае если символы имеют разную длительность

[14]

Выражение для пропускной способности отличается тем, что характеризуется максимальной энтропией

бит/сек

Для двоичного кода бит/сек

 

Пропускная способность является важнейшей характеристикой каналов связи. Возникает вопрос: какова должна быть пропускная способность канала, чтобы информация от источника X к приемнику Y поступала без задержек? Ответ на этот вопрос дает 1-я теорема Шеннона.