1.4 Энтропия и неопределенность при передаче сообщений

Для разработки системы связи с определенной способностью к обработке сообщений нужна метрика измерения объема передаваемой информации. Шеннон ввел такую метрик Н, называемую энтропией источника сообщений (имеющего n возможных выходных значений). Энтропия определяется как среднее количество информации, приходящееся на один выход источника. Двоичная энтропия:

,

где р – вероятность появления символа 0

q=1-p – вероятность появления символа 1.

Если последовательность из n символов равновероятно принимает какое-либо значение из множества, состоящего из элементов, то требуется бит для описания n символов или Н бит/символ.

Пусть последовательность равновероятно оказывается одной из четырех комбинаций . Для описания трех символов требуется 2 бита или бит/символ. ( Действительно, т.к. k=3; H=2/3; элемента алфавита). Так как выходной сигнал может иметь равновероятных значений, то вероятность того, что выходной сигнал, содержащий кодовое слово j попадет в множество, соответствующее другому кодовому слову i равна Если имеется кодовых слов, то вероятность того, что приемное устройство сделает неправильный выбор равно * и стремится к нулю при k если .

Пусть по двоичному симметричному каналу ( дискретный канал без памяти, входной и выходной алфавиты которого состоят из двоичных элементов (0,1)) со скоростью 1000 символов/с передается информация, а априорная вероятность передачи нуля и единицы одинакова. Пусть помехи в канале настолько значительны, что независимо от переданного символа, вероятность приема единицы равна ½ ( то же и для нуля). В таком случае половина принятых символов должна случайно оказаться правильной, и может создаться впечатление, что система обеспечивает скорость 500 бит/c, хотя на самом деле никакой информации не передается. Утраченной является информация о корректности переданных символов. Для оценки неопределенности в принятом сигнале Шеннон использует поправочных коэффициент, который называет неоднозначностью . Неоднозначность определяется как условная энтропия сообщения Х, обусловленная данным сообщением Y:

(1.5)

где Х – сообщение, переданное источником,

Y- принятый сигнал,

- условная вероятность Х при приеме Y,

- совместная вероятность Х и Y.

Неоднозначность можно представить как неуверенность в передаче Х при условии принятия Y. Для канала без ошибок =0, поскольку принятие сообщения Y абсолютно точно определяет Х. В то же время для канала с ненулевой вероятностью возникновения символьной ошибки , поскольку канал вносит некоторую неопределенность.

Рассмотрим двоичную последовательность Х, для которой априорные вероятности источника Р(Х=1)=Р(Х=0)=1/2 и где, в среднем, в принятую последовательность из 100 бит канал вносит одну ошибку ( =0,01). Исходя из уравнения (5) неоднозначность можно записать следующим образом:

Таким образом, в каждый принятый символ канал вносит 0,081 бит неопределенности.

Шеннон показал, что среднее эффективное количество информации в приемнике получается путем вычитания неоднозначности из энтропии источника:

(1.6)

Для системы, передающей равновероятные двоичные символы, энтропия равна 1 бит/символ. Тогда для приведенного примера =1-0,081=0,919 бит/полученный символ. Если за секунду передается R=1000 бит, то эффективная скорость передачи информации:

бит/с (1.7)

В предельном случае, когда апостериорная вероятность получения 0 или 1 равна ½, то бит/с