5

Лекция №12 по курсу

“Теория электрической связи”

Передача информации по каналам связи

1. Информационные параметры сообщений и сигналов

Чтобы сравнивать между собой различные источники сообщений и различные каналы связи, необходимо ввести некоторую количественную меру, позволяющую оценивать содержащуюся в сообщении и переносимую сигналом информацию. Строгие методы количественного определения информации были представлены К. Шенноном в 1948г. и привели к построению теории информации, являющейся математической основой теории связи.

Пусть источник посылает сообщение а из некоторого ансамбля А (аА). Найдём определение количества информации, содержащейся в этом сообщении, исходя из следующих требований:

1. Количество информации должно быть аддитивной величиной, т.е. в двух независимых сообщениях оно должно равняться сумме количества информации в каждом из них.

2. Количество информации в сообщении о достоверном событии равно нулю.

3. Количество информации не должно зависеть от количественного содержания сообщения, в частности, от степени его важности для получателя, возможных последствий его передачи, эмоциональной окраски и т.д.

Итак, для определения количества информации в сообщении необходимо основываться только на таком параметре, который характеризует в самом общем виде сообщение а из ансамбля А. Таким параметром является вероятность Р(а) того, что источник посылает данное сообщение => количество информации i(a), содержащееся в сообщении а, должно быть функцией от Р(а).

Учтем первые два требования. Пусть а₁ и а₂ - два независимых сообщения. Вероятность того, что источник пошлет оба эти сообщения одно за другим Р(а₁а₂) = Р(а₁)Р(а₂), а информация содержащаяся в них, должна удовлетворять условию аддитивности, т.е. i(a₁a₂) = i(a₁) + i(a₂), обладающую тем свойством, что при перемножении двух аргументов значения функции складываются. i(a) = k log P(a). При таком определении количества информации выполняется и второе требование Р(а) = 1: i(a) = k log 1 = 0.

Чтобы количество информации измерялось неотрицательным числом, будем всегда выбирать k = -1, т.к. Р(а) 1 и log P(a) 0.

(1).

Основание log чаще всего выбирается = 2. Полученная при этом единица информации носит название двоичная единица или бит. Она равна количеству информации в сообщении о событии, происходящем с вероятностью 0,5.

Если источник передаёт последовательность зависимых между собой сообщений, то получение предшествующих сообщений может изменить вероятность последующего, а следовательно, и количество информации в нём.

Оно должно поделится по условной вероятности передачи данного сообщения a_n при известных предшествовавших a_{n-1,. . .}

(2)

Определённое выше количество информации является случайной величиной, т.к. сами сообщения случайные. Для характеристики всего ансамбля (или источника) сообщений используется математическое ожидание количества информации называемое энтропией:

(3)

Чем выше энтропия источника, тем больше степень неожиданности передаваемых сообщений в среднем, т.е. тем более неопределённым является ожидаемое сообщение. Поэтому энтропию часто называют мерой неопределённости сообщений.

Основные свойства энтропии:

1. Энтропия неотрицательна, она = 0 только для “вырожденного” ансамбля, когда одно сообщение передаётся с вероятностью 1, а остальные имеют нулевую вероятность.

2. Энтропия аддитивна. Если рассматривать последовательность из n сообщений или одно, то энтропия такого источника будет в n раз больше энтропии исходного источника.

3. Если ансамбль содержит k различных сообщений, то Н(А) log K, причём равенство имеет место только тогда, когда все сообщения передаются равновероятно и независимо. Число k называется объёмом алфавита источника.

Величина (4)

называется избыточностью источника с объёмом алфавита K. Она показывает, какая доля максимально возможной при этом энтропии не используется источником.

Некоторые источники передают сообщения с фиксированной скоростью, затрачивая в среднем время Т на каждое сообщение. Производительностью такого источника назовём суммарную энтропию сообщений, передаваемых за единицу времени

(Бит/с).