3. Информационные характеристики каналов

3.1. Модели дискретных каналов

В постоянном симметричном канале без памяти (ПСКБП) алфавиты кодовых символов на входе и выходе имеют одинаковый объем . Каждый переданный символ можно принять ошибочно (правильно) с вероятностью ( ). Из-за ошибки вместо символа , соответствующего переданному , можно с равной вероятностью принять любой другой , . Вероятность приема при передаче равна

(3.1)

Термин без памяти означает, что вероятность ошибочного приема символа (вероятность ошибки) не зависит от того, какие символы передавались до этого, и как они были приняты. Тогда вероятность любого мерного вектора ошибки с весом (числом ненулевых символов) равна Вероятность появления ошибок в произвольных позициях последовательности длины , определяется формулой Бернулли , где - число различных сочетаний ошибок в блоке длиной , . Эта модель - биномиальный канал, применима к каналу без замираний, если аддитивный шум белый .

ПСКБП со стиранием отличен от ПСКБП тем, что алфавит на выходе канала содержит дополнительный -символ, часто обозначаемый знаком ?. Этот символ появляется, если 1-ая решающая схема приемника (демодулятор) не опознает символ надежно. Вероятность отказа от решения (стирания символа) постоянна и не зависит от передаваемого символа. За счет стирания можно снизить вероятность ошибки, иногда – почти до .

В несимметричном канале без памяти ошибки возникают независимо, но их вероятности зависят от передаваемого символа. В двоичном несимметричном канале вероятность приема символа при передаче символа не равна вероятности приема символа при передаче символа . В ПСКБП условная вероятность ошибочного приема -го символа при условии, что -ый символ принят ошибочно, равна безусловной вероятности ошибки. В канале с памятью ая вероятность может быть больше или меньше ой. В реальных каналах память обусловлена разными причинами . Например, - замираниями, атмосферными и взаимными помехами разных каналов или особенностями метода модуляции и демодуляции. В кабельных линиях связи причиной памяти могут стать коммутационные помехи из-за переключений отдельных элементов канала, выводящих канал на короткое время из строя. Модели каналов с памятью можно строить, например, на основе аппарата цепей Маркова .

Память может проявляться в пакетировании ошибок . Оно группирует ошибки на отдельных словах: число искаженных слов уменьшается, а кратность ошибок в словах увеличивается. Иногда в канале с памятью вероятность вектора ошибки не зависит от передаваемой последовательности. Во многих каналах из двух векторов ошибки с одинаковым весом более вероятен тот, при котором расположены близко друг к другу. Тогда есть тенденция к группированию ошибок.

3.2. Характеристики непрерывных каналов

Из-за ограниченности разрешающей способности реальных приемников нельзя знать точно переданное сообщение. На приемной стороне достаточно восстановить его с точностью, характеризуемой параметром . Количество принятой так информации конечно и зависит от выбора . Часто применяют средний квадрат разности между принятым сообщением и переданным : . Сообщения и эквивалентны друг другу с точностью , если . Средняя взаимная информация зависит от статистических свойств , определяющих дифференциальную энтропию , и от критерия эквивалентности. От этого же критерия зависит условная плотность вероятности , а, значит, - и . Эпсилон-энтропией называется величина

(3.2)

где минимум и максимум взяты по всем , для которых . – минимальное количество информации сообщения о сообщении , при котором они еще эквивалентны. - количество существенной информации в одном отсчете непрерывного сообщения, которое надо передать, чтобы воспроизвести сообщение с заданной точностью.

Так как , то условная дифференциальная энтропия определяется дифференциальной энтропией отсчета шума воспроизведения . Поэтому . Мощность этого шума должна быть . Согласно (2.18), . Из (3.2) следует . Для гауссовского источника эпсилон-энтропия максимальна: , где - минимальное отношение сигнал/шум, когда и еще эквивалентны.

Эпсилон-производительность источника непрерывных сообщений (скорость создания информации) - количество информации, которое необходимо передать от источника по каналу в единицу времени, чтобы в приемнике восстановить сообщение при заданном критерии эквивалентности. При независимых отсчетах сообщения источника, выдаваемых со средней скоростью ,

(3.3)

Пример 3.2.1. Пусть случайная величина , где и - независимые гауссовские величины с дисперсией и , соответственно. Рассмотрим и как амплитуды импульсов на входе и выходе канала, соответственно, а - как аддитивный шум, добавляющийся к импульсам при передаче по каналу. Согласно центральной предельной теореме теории вероятностей (ЦПТ) , величина - тоже гауссовская с дисперсией . С учетом (2.18) ее дифференциальная энтропия равна . Из (2.19) следует . Но и , так что условная дифференциальная энтропия гауссовской величины зависит лишь от дисперсии шума : . Выражения для и подставим в (2.20). Найдем среднюю взаимную информацию для изучаемого канала: . При введенных ограничениях - максимально возможное количество информации об отсчете входного в канал сообщения в одном отсчете выходного сообщения.